[논문 리뷰] An Empirical Analysis of Multiple-Turn Reasoning Strategies in Reading Comprehension Tasks

Yelong Shen, Xiaodong Liu외 2명|arXiv (Cornell University)|2017. 11. 08.

Topic Modeling참고 문헌 29인용 수 14

한 줄 요약

이 논문은 반복적 주의력과 강화 학습을 통해 동적으로 추론 전환을 제어하는 개선된 ReasoNet 모델을 사용하여 독해에서 다중 전환 추론을 조사한다. SQuAD와 MS MARCO 전반에서 다중 전환 추론이 단일 전환 추론을 일관되게 능가함을 발견하였으며, 고정 전략보다 유연한 전환 수를 가진 전략이 더 나은 성능을 내며 최신 기술 수준의 경쟁력 있는 성능을 달성하였다.

ABSTRACT

Reading comprehension (RC) is a challenging task that requires synthesis of information across sentences and multiple turns of reasoning. Using a state-of-the-art RC model, we empirically investigate the performance of single-turn and multiple-turn reasoning on the SQuAD and MS MARCO datasets. The RC model is an end-to-end neural network with iterative attention, and uses reinforcement learning to dynamically control the number of turns. We find that multiple-turn reasoning outperforms single-turn reasoning for all question and answer types; further, we observe that enabling a flexible number of turns generally improves upon a fixed multiple-turn strategy. %across all question types, and is particularly beneficial to questions with lengthy, descriptive answers. We achieve results competitive to the state-of-the-art on these two datasets.

연구 동기 및 목표

• 신경 독해 모델에서 다중 전환 추론 전략의 효과성을 실증적으로 평가하는 것.
• SQuAD와 MS MARCO에서 다양한 질문 및 답변 유형에 대해 단일 전환 대 다중 전환 추론을 비교하는 것.
• 유연하게 결정된 추론 전환 수가 고정 전환 전략보다 성능 향상에 기여하는지 분석하는 것.
• 더 나은 내성성과 성능 향상을 위해 서브워드 임베딩과 문단 순서 정렬을 ReasoNet 모델에 통합하는 것.
• SQuAD와 MS MARCO에서 최신 기술 수준의 성능를 달성하면서 동시에 신경 모델의 추론 역학에 대한 통찰을 제공하는 것.

제안 방법

• ReasoNet++ 모델은 동일한 문단에서 반복적 주의력을 통해 다중 추론 전환을 시뮬레이션하는 엔드 투 엔드 신경망을 사용한다.
• 모델은 종료 신호에 기반하여 언제 추론을 종료할지를 동적으로 결정하도록 강화 학습을 통해 훈련된다.
• 질문과 문단은 임베딩 및 인코더 레이어를 거쳐 공통 주의력을 통해 질문 인식 및 문단 인식 표현을 생성한다.
• 중간 추론 상태(S_t)는 GRU를 사용해 반복적으로 갱신되며, 답변 생성은 종료 시에만 이루어진다.
• 단어 표현의 내성성을 향상시키기 위해 서브워드 수준의 임베딩(문자 및 3-그램)을 추가한다.
• MS MARCO에서는 외부 정보 검색(IR) 모델을 통해 관련 문단을 선별한 후 답변 추출을 수행하기 위해 문단 순서 정렬을 통합한다.

실험 결과

연구 질문

• RQ1 SQuAD와 MS MARCO의 다양한 질문 및 답변 유형에서 다중 전환 추론이 단일 전환 추론을 능가하는가?
• RQ2 유연하고 동적으로 결정된 추론 전환 수가 고정된 전환 수보다 우수한가?
• RQ3 서브워드 임베딩과 문단 순서 정렬이 독해 작업 성능에 어떤 영향을 미치는가?
• RQ4 ReasoNet++ 모델은 SQuAD와 MS MARCO에서 최신 기술 수준의 방법들과 비교해 얼마나 경쟁적인 성능를 달성하는가?
• RQ5 반복적 추론은 핵심 참조 및 다중 문장 융합과 같은 복잡한 추론 유형을 다루는 데 어떤 기여를 하는가?

주요 결과

• SQuAD와 MS MARCO의 모든 질문 및 답변 유형에서 다중 전환 추론이 단일 전환 추론을 능가한다.
• 각 인스턴스에 대해 최적의 추론 전환 수를 학습하는 동적 전환 제어 전략이 고정 다중 전환 전략보다 더 나은 성능을 내었다.
• 서브워드 임베딩(문자 및 3-그램)을 추가함으로써 SQuAD에서 F1 점수는 1.1점 향상되었고, MS MARCO에서는 ROUGE 점수는 0.9점 향상되었다.
• 오라클 문단 순서 정렬을 사용할 경우, MS MARCO 성능은 BLEU 62.83 및 ROUGE-L 63.17에 도달하여 공동 훈련을 통한 향상 여력이 크다는 것을 시사하였다.
• ReasoNet++ 모델은 MS MARCO 테스트 세트에서 75.0/82.6 EM/F1 점수를 기록했고, SQuAD에서는 70.6/79.36 EM/F1 점수를 기록하여 최신 기술 수준의 모델들과 경쟁 가능한 성능를 달성하였다.
• SQuAD에서 인간의 성능은 82.3% EM 및 91.2% F1였으며, 현재 모델들이 아직 간극을 좁혀야 할 여전히 큰 여정이 있음을 보여주었지만, ReasoNet++는 강력한 성능를 보였다.