[논문 리뷰] Focused Hierarchical RNNs for Conditional Sequence Processing

Nan Rosemary Ke, Konrad Żołna외 7명|arXiv (Cornell University)|2018. 06. 12.

Topic Modeling참고 문헌 30인용 수 14

한 줄 요약

이 논문은 질문 이해 작업을 위한 관련 입력 세그먼트를 선택적으로 인코딩하는 데 사용되는 이산적이고 문맥에 의존하는 게이팅 메커니즘을 갖춘 집중형 계층적 RNN(FHE)을 제안한다. 정책 기반 강화 학습(정책 기반 강화 학습)을 통해 게이팅을 훈련하고 고수준 표현에 대한 소프트 어텐션을 적용함으로써, MS MARCO와 SearchQA에서 최신 기준 성능을 달성하였으며, 강력한 기준 모델 대비 일반화 능력과 답변 품질 향상이 뚜렷하게 향상되었다.

ABSTRACT

Recurrent Neural Networks (RNNs) with attention mechanisms have obtained state-of-the-art results for many sequence processing tasks. Most of these models use a simple form of encoder with attention that looks over the entire sequence and assigns a weight to each token independently. We present a mechanism for focusing RNN encoders for sequence modelling tasks which allows them to attend to key parts of the input as needed. We formulate this using a multi-layer conditional sequence encoder that reads in one token at a time and makes a discrete decision on whether the token is relevant to the context or question being asked. The discrete gating mechanism takes in the context embedding and the current hidden state as inputs and controls information flow into the layer above. We train it using policy gradient methods. We evaluate this method on several types of tasks with different attributes. First, we evaluate the method on synthetic tasks which allow us to evaluate the model for its generalization ability and probe the behavior of the gates in more controlled settings. We then evaluate this approach on large scale Question Answering tasks including the challenging MS MARCO and SearchQA tasks. Our models shows consistent improvements for both tasks over prior work and our baselines. It has also shown to generalize significantly better on synthetic tasks as compared to the baselines.

연구 동기 및 목표

• 질문이나 문맥에 기반하여 RNN 인코더가 관련 입력 세그먼트에만 집중할 수 있도록 하여 조건부 생성 작업에서의 시퀀스 모델링을 향상시키는 것.
• 계층적 RNN 아키텍처에서 단어 수준 표현에서 개념 수준 표현으로의 정보 흐름을 제어하는 이산적이고 확률적인 게이팅 메커니즘을 개발하는 것.
• 하류 작업 성능 최적화를 위해 강화 학습(정책 기반 강화 학습)을 사용하여 게이팅 메커니즘을 훈련하는 것.
• 합성 작업과 실제 QA 벤치마크인 MS MARCO 및 SearchQA에서 모델의 일반화 능력과 어텐션 행동을 평가하는 것.
• 스팬 기반 모델과 생성 기반 모델 간 격차를 줄이기 위해, 구조적이고 문맥 인식형 인코딩을 통해 더 나은 답변 일반화를 가능하게 하는 것.

제안 방법

• 모델은 이중 레이어 LSTM 아키텍처를 사용한다: 하위 레이어는 입력 토큰을 순차적으로 처리하고, 상위 레이어는 관련 서브시퀀스의 고수준 표현을 캡처한다.
• 현재 하위 레이어의 은닉 상태와 질문 임베딩에 의해 영향을 받는 조건부 경계 게이팅은, 현재 토큰 그룹의 요약을 상위 레이어 LSTM에 업데이트할 시점을 결정한다.
• 게이팅은 작업 보상(예: BLEU 또는 ROUGE 점수)을 최대화하도록 정책 기반 강화 학습 방법으로 훈련되어, 선택적 어텐션의 엔드 투 엔드 학습이 가능해진다.
• 상위 레이어 LSTM 상태는 게이팅이 열린 경우에만 업데이트되며, 이는 문맥에 따라 관련 정보를 그룹화하고 압축할 수 있도록 한다.
• 답변 생성을 위해 상위 수준의 은닉 상태에 소프트 어텐션을 적용함으로써, 중요한 문서 부분에 동적으로 초점을 맞출 수 있다.
• 희귀어를 처리하기 위해 포인터-소프트맥스 메커니즘을 통합하여, MS MARCO와 같은 대규모 데이터셋에서 낮은 빈도어휘의 생성 성능을 향상시켰다.

실험 결과

연구 질문

• RQ1 이산적이고 문맥에 의존하는 게이팅 메커니즘이 RNN 인코더가 시퀀스 모델링 작업에서 관련 입력 세그먼트에 집중하는 데 기여하는가?
• RQ2 정책 기반 강화 학습으로 게이팅 메커니즘을 훈련하면, 제어된 입력-출력 관계를 가진 합성 작업에서 더 나은 일반화 성능를 달성하는가?
• RQ3 집중형 계층적 인코더는 MS MARCO 및 SearchQA와 같은 대규모 실세계 QA 벤치마크에서 성능을 얼마나 향상시키는가?
• RQ4 학습된 경계와 어텐션 메커니즘이 표준 어텐션 메커니즘 대비 답변 품질과 일반화 능력에 기여하는 정도는 어떠한가?
• RQ5 구조적 인코딩을 갖춘 생성 기반 QA 모델이 표준 지표에서 강력한 성능 유지를 하면서도, 답변 일반화 측면에서 스팸 기반 모델을 능가할 수 있는가?

주요 결과

• 모델은 MS MARCO 데이터셋에서 모든 경쟁 모델을 압도하여 BLEU-1 및 ROUGE-L 점수 모두 최신 기준 성능을 달성하였다.
• SearchQA 벤치마크에서 모델은 이전의 연구 성과, 특히 Buck 등(2018)의 최근 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 제거 실험 결과, 질문과 문맥 임베딩 간의 원소별 곱셈이 가장 큰 성능 향상을 가져왔으며, 이는 문맥 통합의 중요성을 강조한다.
• 포인터-소프트맥스 메커니즘이 성능 향상에 기여했으며, 특히 MS MARCO에서 약 90%에 이르는 어휘가 희귀어인 점을 감안할 때 매우 중요한 역할을 했다.
• 학습된 경계 메커니즘이 성능에 핵심적인 역할을 하며, 이를 제거하면 정확도가 뚜렷이 떨어지므로, 이는 구조적 인코딩에서의 기여를 입증한다.
• 인간 평가 결과, 63%의 참가자가 제안된 모델이 생성한 답변을 강력한 LSTM 기준 모델의 답변보다 선호하였으며, 이는 답변 품질과 논리적 일관성 향상을 시사한다.