[논문 리뷰] Dual Multi-head Co-attention for Multi-choice Reading Comprehension.

Pengfei Zhu, Hai Zhao외 1명|arXiv (Cornell University)|2020. 01. 26.

Topic Modeling참고 문헌 39인용 수 29

한 줄 요약

이 논문은 다중 선택 독해에서 문장, 질문, 선택지 간의 상호작용을 모델링하는 단순하면서도 효과적인 주의 기반 메커니즘인 이중 다중 헤드 공액주의(DUMA)를 제안한다. 세 구성 요소 전반에 걸쳐 직접 다중 헤드 공액주의를 적용함으로써 DUMA는 사전 훈련된 언어 모델을 향상시켜, 복잡한 매칭 네트워크 없이도 DREAM 및 RACE 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

Multi-choice Machine Reading Comprehension (MRC) requires model to decide the correct answer from a set of answer options when given a passage and a question. Thus in addition to a powerful pre-trained Language Model as encoder, multi-choice MRC especially relies on a matching network design which is supposed to effectively capture the relationship among the triplet of passage, question and answers. While the latest pre-trained Language Models have shown powerful enough even without the support from a matching network, and the latest matching network has been complicated enough, we thus propose a novel going-back-to-the-basic solution which straightforwardly models the MRC relationship as attention mechanism inside network. The proposed DUal Multi-head Co-Attention (DUMA) has been shown simple but effective and is capable of generally promoting pre-trained Language Models. Our proposed method is evaluated on two benchmark multi-choice MRC tasks, DREAM and RACE, showing that in terms of strong Language Models, DUMA may still boost the model to reach new state-of-the-art performance.

연구 동기 및 목표

• 다중 선택 독해에서 문장, 질문, 선택지 간의 효과적인 상호작용 모델링 필요성 해결.
• 복잡한 매칭 네트워크의 한계를 극복하기 위해 단순한 주의 기반 접근법으로 복귀.
• 경량이지만 강력한 주의 메커니즘을 통해 강력한 사전 훈련된 언어 모델의 성능 향상.
• 다중 선택 MRC에서 더 복잡한 아키텍처보다도 단순한 주의 메커니즘이 더 나은 성능을 낼 수 있음을 입증.
• 아키텍처의 과도한 복잡성 없이도 표준 다중 선택 MRC 벤치마크에서 최신 기술 성능 달성.

제안 방법

• 문장과 질문, 문장과 선택지 간의 주의를 동시에 모델링하는 이중 다중 헤드 공액주의 메커니즘 제안.
• 각 세 입력 모odal(문장, 질문, 선택지) 내에서 다중 헤드 자기주의를 적용하여 표현을 풍부하게 한다.
• 문장과 질문 간, 그리고 문장과 각 선택지 간의 교차주의를 사용해 이질적 모달 간 관계를 포착.
• 공액주의 레이어에서의 표현을 집계하여 각 선택지에 대한 통합된 맥락 인식 표현을 생성.
• DUMA 모듈을 BERT와 같은 사전 훈련된 언어 모델 기반 아키텍처에 통합하여 엔드 투 엔드 훈련 수행.
• 선택지에 대한 교차 엔트로피 손실을 사용한 표준 MRC 목표 함수로 모델 훈련.

실험 결과

연구 질문

• RQ1 다중 선택 독해에서 복잡한 매칭 네트워크보다 단순화된 주의 기반 메커니즘이 더 나은 성능을 낼 수 있는가?
• RQ2 이중 다중 헤드 공액주의 메커니즘이 강력한 사전 훈련된 언어 모델의 성능을 얼마나 향상시킬 수 있는가?
• RQ3 문장, 질문, 선택지 간의 공액주의를 함께 모델링하면 별도로 모델링하는 것보다 더 나은 정렬과 추론을 이끌어내는가?
• RQ4 경량 주의 메커니즘이 아키텍처의 복잡성 없이도 최신 기술 성능을 달성할 수 있는가?
• RQ5 DUMA 접근법은 DREAM 및 RACE와 같은 다양한 다중 선택 MRC 데이터셋에 대해 얼마나 일반화 가능한가?

주요 결과

• DUMA는 다중 선택 독해 벤치마크 DREAM에서 최신 기술 성능을 달성한다.
• RACE 데이터셋에서도 성능 향상을 보이며, 다양한 MRC 작업 간 강력한 일반화 능력을 입증한다.
• 아키텍처의 대대적인 개선 없이도 강력한 사전 훈련된 언어 모델의 성능을 일관되게 향상시킨다.
• 이전의 복잡한 매칭 네트워크에 의존하는 방법보다 DUMA가 더 뛰어난 성능을 보이며, 단순한 주의 메커니즘의 효과성을 입증한다.
• 제거 실험 결과, 이중 공액주의 설계가 단일 주의 기반 베이스라인 대비 성능 향상에 크게 기여하는 것으로 확인된다.
• 강력한 사전 훈련된 모델에서도 효과적이므로, DUMA가 백본 모델이 학습하는 것 이상의 중요한 추론 패턴을 포착하고 있음을 시사한다.