[논문 리뷰] Ruminating Reader: Reasoning with Gated Multi-Hop Attention

Yichen Gong, Samuel R. Bowman|arXiv (Cornell University)|2017. 04. 24.

Topic Modeling참고 문헌 27인용 수 14

한 줄 요약

Ruminating Reader는 두 번의 주의 메커니즘을 도입하고 양 측면의 표현을 게이트된 융합하는 방식으로 기계적 독해 성능을 향상시킨다. SQuAD에서 F1 점수 79.5와 EM 70.6을 기록하며 BiDAF를 크게 능가하며, 당시 발표된 모든 시스템과 비교해도 우수한 성능을 보였다.

ABSTRACT

To answer the question in machine comprehension (MC) task, the models need to establish the interaction between the question and the context. To tackle the problem that the single-pass model cannot reflect on and correct its answer, we present Ruminating Reader. Ruminating Reader adds a second pass of attention and a novel information fusion component to the Bi-Directional Attention Flow model (BiDAF). We propose novel layer structures that construct an query-aware context vector representation and fuse encoding representation with intermediate representation on top of BiDAF model. We show that a multi-hop attention mechanism can be applied to a bi-directional attention structure. In experiments on SQuAD, we find that the Reader outperforms the BiDAF baseline by a substantial margin, and matches or surpasses the performance of all other published systems.

연구 동기 및 목표

• 단일 패assing 모델이 후보 답변을 수정하거나 반영할 수 없는 한계를 해결한다.
• 모델이 맥락과 질문을 다시 탐색하여 깊이 있는 추론을 가능하게 함으로써 정답 정확도를 향상시킨다. 이는 인간의 반성적 독해 행동을 모방한다.
• 첫 번째 주의 패assing과 두 번째 주의 패assing의 표현을 융합하기 위한 새로운 게이팅 메커니즘을 도입한다.
• 질문과 답변 간의 중복으로 인한 오류를 줄이기 위해 답변-질문 유사도 손실을 도입한다.
• BiDAF의 아키텍처를 개선하여 SQuAD 벤치마크에서 최고 성능을 달성한다.

제안 방법

• BiDAF에 이중 주의 흐름을 추가하여 맥락과 질문에 대한 다단계 추론을 가능하게 한다.
• 학습 가능한 게이트를 사용하여 첫 번째 패assing의 인코딩 표현과 두 번째 패assing의 중간 표현을 융합하는 '반성 레이어(ruminate layers)'를 도입한다.
• LSTM 레이어가 시간 단위(timesteps) 동안 동일한 입력을 처리하며, 동적 게이트 값이 정보 흐름을 제어하는 게이팅 메커니즘을 활용한다.
• 질문과 과도하게 겹치는 예측을 방지하기 위해 새로운 답변-질문 유사도 손실을 적용한다.
• 첫 번째 주의 허브는 핵심 질문 단어에 집중하고, 두 번째 주의 허브는 후보 정답 구간을 식별하도록, 두 가지 다른 주의 허브를 통해 질문 인식 맥락 표현을 구성한다.
• 주로 주의 메커니즘 이전 단계에서 1D CNN과 최대 풀링을 사용하여 문자 수준 임베딩을 생성한다.

실험 결과

연구 질문

• RQ1 단일 패assing 모델에 비해 이중 패assing 주의 메커니즘이 기계 독해의 정답 정확도를 향상시키는가?
• RQ2 첫 번째 패assing과 두 번째 패assing 표현의 게이팅 융합 방식이 추론 능력을 얼마나 향상시키는가?
• RQ3 두 번째 추론 패assing을 도입함으로써 질문과 답변 간의 표면적 중복으로 인한 오류가 감소하는가?
• RQ4 BiDAF의 아키텍처 개선을 통해 SQuAD에서 최고 성능을 달성할 수 있는가?
• RQ5 다양한 질문 유형과 정답 길이가 반성적 추론 메커니즘의 성능에 어떤 영향을 미치는가?

주요 결과

• Ruminating Reader는 SQuAD 숨겨진 테스트 세트에서 F1 점수 79.5와 정확 일치(Exact Match, EM) 점수 70.6을 기록했으며, BiDAF 대비 F1 점수 2.2점, EM 점수 2.9점 향상되었다.
• 모델은 모든 정답 길이 범주에서 BiDAF를 능가했으며, 특히 긴 정답(예: 5, 8, 9단어)에서 가장 큰 향상을 보였다.
• '왜' 질문은 일반적으로 어휘적 요소가 적고 긴 답변이 필요한 난이도 높은 질문이므로, 모델은 BiDAF에 비해 이에 대해 뚜렷한 성능 향상을 보였다. 이는 복잡한 질의에 대한 향상된 추론 능력을 시사한다.
• 개발 세트에서 성공률(완벽한 F1)은 70.6%로, jNet의 69.1%보다 높았으며, 실패 케이스는 14.9%에서 13.5%로 감소했다.
• 시각화 결과에 따르면, 반성 레이어의 게이트 메커니즘이 주로 원본 인코딩 표현을 선호하는 것으로 나타나, 이는 초기 표현을 대체하기보다는 보완함으로써 정밀도를 높이는 역할을 한다는 것을 확인한다.
• 제거 실험(Ablation studies) 결과, 이중 허브 주의와 게이팅 융합 구성 요소가 성능 향상에 기여하는 것으로 확인되었다.