[논문 리뷰] Stochastic Answer Networks for Machine Reading Comprehension

Xiaodong Liu, Yelong Shen외 2명|arXiv (Cornell University)|2017. 12. 10.

Topic Modeling참고 문헌 30인용 수 34

한 줄 요약

이 논문은 기계적 읽기 이해를 위한 단순하면서도 강력한 신경망 아키텍처인 스토하스틱 답변 네트워크(Stochastic Answer Networks, SAN)를 소개한다. 학습 중 답변 모듈에 스토하스틱 예측 드롭아웃을 적용하여 다단계 추론 성능을 향상시킨다. 마지막 단계에 의존하는 대신 다수의 추론 단계에서의 예측을 평균화함으로써 SAN은 강화학습을 요구하지 않고도 SQuAD, 악성 SQuAD, MS MARCO에서 최신 기준 성능을 달성하며 모델의 강건성과 정확도를 크게 향상시킨다.

ABSTRACT

We propose a simple yet robust stochastic answer network (SAN) that simulates multi-step reasoning in machine reading comprehension. Compared to previous work such as ReasoNet which used reinforcement learning to determine the number of steps, the unique feature is the use of a kind of stochastic prediction dropout on the answer module (final layer) of the neural network during the training. We show that this simple trick improves robustness and achieves results competitive to the state-of-the-art on the Stanford Question Answering Dataset (SQuAD), the Adversarial SQuAD, and the Microsoft MAchine Reading COmprehension Dataset (MS MARCO).

연구 동기 및 목표

• 문장 간 정보를 융합하고 반복적 추론을 수행해야 하는 다단계 추론 문제를 해결하기 위해.
• 최종 예측 단계에 대한 의존도를 줄임으로써 읽기 이해 과제에서 모델의 강건성과 일반화 능력을 향상시키기 위해.
• 강화학습의 복잡성과 불안정성 없이 효과적인 다단계 추론을 가능하게 하는 학습 방법을 개발하기 위해.
• 강화학습을 사용하지 않고도 SQuAD, 악성 SQuAD, MS MARCO와 같은 벤치마크 데이터셋에서 최신 기준 성능을 달성하는 것.

제안 방법

• 모델은 네 계층 아키텍처를 사용한다: 어휘 인코딩, BiLSTM를 사용한 컨텍스트 인코딩, 어텐션과 자기어텐션을 갖춘 워킹 메모리, 그리고 단계별 예측을 수행하는 GRU 기반의 답변 모듈.
• 학습 중 답변 모듈에 스토하스틱 예측 드롭아웃을 적용하여 각 추론 단계에서 예측을 무작위로 제거함으로써 특정 단계에 대한 과도한 의존을 방지한다.
• 추론 중 최종 답변은 모든 단계별 예측의 평균으로 예측되며, 이는 개선 단계에 대한 스토하스틱 앙상블을 효과적으로 생성한다.
• 표준 백프로파게이션을 사용하여 학습함으로써 이전의 동적 단계 모델에서 사용되는 강화학습 방법의 불안정성과는 차별화된다.
• 다중 패스지문 읽기 이해를 위해 각 패스지문에서의 후보 답변은 SAN을 사용해 점수를 매기고, 별도의 패스지문 랭킹 모델을 사용해 재정렬한다.
• 답변 모듈은 각 추론 단계에서 스파니 스타트 및 엔드 위치에 대한 다항분포를 생성하는 GRU이다.

실험 결과

연구 질문

• RQ1 답변 모듈에 대한 스토하스틱 드롭아웃과 같은 단순한 학습 기법이 기계적 읽기 이해에서 다단계 추론을 향상시킬 수 있는가?
• RQ2 여러 추론 단계의 예측을 평균화하는 것이 최종 예측 단계에 의존하는 것보다 더 높은 강건성과 정확도를 달성할 수 있는가?
• RQ3 강화학습을 사용하지 않고도 동적 단계 선택을 위한 기반으로서 최신 기준 성능을 달성할 수 있는가?
• RQ4 고정 단계 및 동적 단계 추론 모델과 비교할 때 제안된 방법은 강건성과 일반화 능력 측면에서 어떻게 다른가?

주요 결과

• MS MARCO 개발 세트에서 SAN은 F1 점수 46.14를 기록하여 V-Net을 초월하며 해당 벤치마크에서 새로운 최신 기준 성능을 달성했다.
• SQuAD 데이터셋에서 SAN은 랭킹리스트에서 경쟁력 있는 성과를 보이며, 강화학습을 요구하지 않고도 뛰어난 일반화 능력을 입증했다.
• 고정 단계 메모리 네트워크와 동적 단계 ReasoNet을 모두 능가하며, 더 높은 강건성과 정확도를 보였다.
• 스토하스틱 드롭아웃과 예측 평균화의 사용은 단계별 편향을 크게 감소시키고 추론 중 모델의 안정성을 향상시켰다.
• 악성 SQuAD에서도 강력한 성능을 기록하여 변형된 입력에 대한 강건성이 향상됨을 시사했다.
• 이 방법은 단순하고 효과적이며 표준 백프로파게이션과 호환되어 강화학습 기반 대안보다 더 쉽게 구현하고 학습할 수 있다.