[논문 리뷰] Dual Co-Matching Network for Multi-choice Reading Comprehension

Shuailiang Zhang, Hai Zhao외 4명|arXiv (Cornell University)|2019. 01. 27.

Topic Modeling참고 문헌 40인용 수 37

한 줄 요약

본 논문은 Passage, Question, Answer 간의 양방향 관계를 게이팅 융합으로 모델링하는 Dual Co-Matching Network(DMN)을 제안하여 RACE와 ROCStories에서 SOTA를 달성하고, RACE 전체 데이터셋에서 인간 성능을 능가하기까지 한다.

ABSTRACT

Multi-choice reading comprehension is a challenging task that requires complex reasoning procedure. Given passage and question, a correct answer need to be selected from a set of candidate answers. In this paper, we propose extbf{D}ual extbf{C}o- extbf{M}atching extbf{N}etwork ( extbf{DCMN}) which model the relationship among passage, question and answer bidirectionally. Different from existing approaches which only calculate question-aware or option-aware passage representation, we calculate passage-aware question representation and passage-aware answer representation at the same time. To demonstrate the effectiveness of our model, we evaluate our model on a large-scale multiple choice machine reading comprehension dataset (i.e. RACE). Experimental result show that our proposed model achieves new state-of-the-art results.

연구 동기 및 목표

• 다지선다 MRC의 동기를 제시하고 Passage, Question, Answer 간의 모든 쌍 관계를 모델링해야 함을 제시한다.
• P-Q, P-A, Q-A 상호작용을 포착하기 위한 양방향 코-매칭 프레임워크를 제안한다.
• 양방향 표현을 효과적으로 융합하기 위한 게이팅 메커니즘을 도입한다.
• 표현 품질을 향상시키기 위해 BERT를 컨텍스트 인코더로 활용한다.
• RACE와 ROCStories 데이터셋에서 SOTA 성능을 입증한다.

제안 방법

• BERT로 Passage, Question, Candidate Answers를 인코딩하여 H^p, H^q, H^a를 얻는다.
• 각 쌍 (P,Q), (P,A), (Q,A)에 대해 양방향 매칭을 계산하여 S^p, S^a 등을 얻고, attention G^{xy} 및 식(1)을 사용한다.
• 게이팅 메커니즘으로 양방향 표현을 융합하여 Eq. (2)를 통해 M^{p}, M^{a}, 및 M^{p_a}를 생성한다.
• M^{p_q}, M^{p_a}, M^{q_a}를 연결하여 C를 형성하고, Eq. (3)을 사용해 후보 답에 대한 소프트맥스(sotmax)로 최종 손실을 계산한다.
• Dropout과 10에폭 파인튜닝을 사용하고 BertAdam 옵티마이저로 학습한다; 최대 시퀀스 길이는 512이다.

실험 결과

연구 질문

• RQ1 양방향 전체 쌍 매칭 접근법이 단방향 또는 부분 쌍 모델에 비해 다지선다 MRC의 정확도를 향상시킬 수 있는가?
• RQ2 이 설정에서 게이팅 기반 양방향 표현 융합이 단순한 연결(concatenation)보다 더 나은 성능을 보이는가?
• RQ3 BERT와 같은 강력한 인코더의 통합이 대규모 MRC 벤치마크(RACE, ROCStories)에서 성능에 어떤 영향을 미치는가?

주요 결과

• DMN은 RACE 및 ROCStories 벤치마크에서 SOTA를 달성한다.
• 단일 DMN 모델이 이전 기준점을 능가하고 전체 RACE 데이터셋에서 인간 Turkers를 능가한다.
• 모든 P-Q, P-A, Q-A 쌍에 걸친 양방향 매칭은 단방향 매칭 대비 측정 가능한 이점을 제공한다(예: RACE에서 1.5%).
• 양방향 표현의 게이티드 융합은 연결(concatenation)보다 더 나은 성능을 낸다.
• BERT 기반 인코더의 효과적인 통합으로 성능이 향상되어 태스크 전반에 걸쳐 주목할 만한 이득을 얻었다.