[논문 리뷰] Reinforced Mnemonic Reader for Machine Reading Comprehension

Minghao Hu, Yuxing Peng외 4명|arXiv (Cornell University)|2017. 05. 08.

Topic Modeling참고 문헌 39인용 수 41

한 줄 요약

이 논문은 주의 흐름의 부족과 중복 문제를 줄이기 위해 재주목 메커니즘을 도입한 신경망 아키텍처인 강화된 기억망 독서기(Reinforced Mnemonic Reader)를 제안한다. 또한 F1 최적화를 위한 강화학습 기반 학습에서의 수렴 억제 문제를 극복하기 위해 동적-중요 기반 강화학습을 도입한다. 이 모델은 SQuAD에서 최고 성능을 기록했으며, 개발 세트에서 82.3%의 EM과 88.5%의 F1을 기록했고, 악성 SQuAD 데이터셋에서는 이전 방법들보다 6% 이상 높은 성능을 보였다.

ABSTRACT

In this paper, we introduce the Reinforced Mnemonic Reader for machine reading comprehension tasks, which enhances previous attentive readers in two aspects. First, a reattention mechanism is proposed to refine current attentions by directly accessing to past attentions that are temporally memorized in a multi-round alignment architecture, so as to avoid the problems of attention redundancy and attention deficiency. Second, a new optimization approach, called dynamic-critical reinforcement learning, is introduced to extend the standard supervised method. It always encourages to predict a more acceptable answer so as to address the convergence suppression problem occurred in traditional reinforcement learning algorithms. Extensive experiments on the Stanford Question Answering Dataset (SQuAD) show that our model achieves state-of-the-art results. Meanwhile, our model outperforms previous systems by over 6% in terms of both Exact Match and F1 metrics on two adversarial SQuAD datasets.

연구 동기 및 목표

• 기계적 독해에서 사용하는 다중 라운드 주의 메커니즘의 주의 중복과 부족 문제를 해결하기 위해.
• F1 최적화를 위한 강화학습 기반 학습에서의 수렴 억제 문제를 해결하기 위해.
• 기억된 이전 주의 상태를 활용해 주의 분포를 정교화함으로써 답변 구간 예측 성능을 향상시키기 위해.
• 보상과 기준값을 동적으로 선택하여 보상 정규화 문제를 방지하는 더 안정적이고 효과적인 학습 방법을 개발하기 위해.
• 표준 및 악성 SQuAD 벤치마크에서 최고 성능을 달성하기 위해.

제안 방법

• 과거 주의 분포를 시간적으로 기억하여 현재 주의를 정교화하는 재주목 메커니즘을 도입하여 집중도를 향상시키고 중복을 줄였다.
• 현재 주의 분포와 과거 주의 분포 간의 유사도를 계산하여, 주의가 겹치는 영역에 집중하거나 새로운 영역을 탐색하도록 이끌었다.
• 동적-중요 기반 강화학습(DCRL)은 무작위 추론과 탐욕적 추론 중 더 높은 점수를 받은 예측을 보상으로 선택함으로써, 항상 양의 정규화된 보상을 보장한다.
• DCRL은 두 가지 샘플링 전략—무작위 추론과 탐욕적 추론—을 사용하며, 더 높은 점수를 받은 출력을 보상으로, 낮은 점수를 기준값으로 설정하여 수렴 억제를 방지한다.
• 재주목과 DCRL을 통합한 엔드 투 엔드 신경망 아키텍처인 강화된 기억망 독서기를 개발하였으며, 지도학습과 강화학습을 융합한 하이브리드 목적함수로 학습하였다.
• 아키텍처는 다중 라운드 정렬 메커니즘을 사용하며, 각 블록이 질문 인식 주의와 이전 단계의 재주목을 통해 컨텍스트 표현을 정교화한다.

실험 결과

연구 질문

• RQ1 과거 주의 분포를 활용하는 재주목 메커니즘이 다중 라운드 MRC 모델의 주의 중복과 부족 문제를 줄일 수 있는가?
• RQ2 동적-중요 기반 강화학습이 F1 최적화를 위한 MRC 학습에서 수렴 억제 문제를 효과적으로 완화하는가?
• RQ3 제안된 모델이 표준 및 악성 SQuAD 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ4 재주목 메커니즘이 주의 분포의 다양성을 향상시키고 참값 답변 영역과의 정렬도 향상시키는가?
• RQ5 DCRL은 표준 자기-비판 순차 학습(SCST)에 비해 예측 정확도를 얼마나 향상시키는가?

주요 결과

• 앙상블를 사용하여 SQuAD 개발 세트에서 정확도 매칭(EM) 점수 82.3%와 F1 점수 88.5%를 기록하여 최고 성능을 달성했다.
• 악성 SQuAD 데이터셋인 AddSent와 AddOneSent에서 기존 방법들보다 EM 및 F1 점수 모두 6% 이상 높은 성능을 기록했다.
• 재주목 메커니즘은 주의 중복을 줄였으며, 인접한 주의 블록 간의 KL 발산이 25% 증가함으로써 증명되었다(예: E1에서 E2로 0.695에서 0.866으로 증가).
• 재주목 메커니즘은 주의 부족 문제 또한 줄였으며, 예측된 주의 분포와 앙상블 기반 참값 주의 분포 간 KL 발산이 E2에서 0.650에서 0.568로 감소했다.
• 동적-중요 기반 강화학습은 수렴 억제를 효과적으로 방지하여, 특히 SCST가 정확한 구간을 찾지 못할 때 더 정확한 답변 경계 예측이 가능했다.
• 제거 실험 결과, 재주목과 DCRL 모두 성능 향상에 기여하며, 전체 모델은 변형된 모델들보다 EM 및 F1 점수에서 1.5–2.0점 높은 성능을 기록했다.