[논문 리뷰] A Co-Matching Model for Multi-choice Reading Comprehension

Shuohang Wang, Mo Yu외 2명|arXiv (Cornell University)|2018. 06. 11.

Topic Modeling참고 문헌 16인용 수 26

한 줄 요약

이 논문은 다중 선택 독해 과제에서 질문과 후보 답변을 동시에 정렬하기 위해 이중 주의 메커니즘을 사용하는 공일치(co-matching) 모델을 제안한다. 통합된 상호작용을 코어로 하는 공일치 상태를 구성하고, 계층적 LSTMs를 통해 문맥을 집계함으로써, RACE 데이터셋에서 최신 기준 성능(SOTA)을 달성하며 기존 방법보다 3%p 향상시킨다.

ABSTRACT

Multi-choice reading comprehension is a challenging task, which involves the matching between a passage and a question-answer pair. This paper proposes a new co-matching approach to this problem, which jointly models whether a passage can match both a question and a candidate answer. Experimental results on the RACE dataset demonstrate that our approach achieves state-of-the-art performance.

연구 동기 및 목표

• 추출적 매칭을 넘어서 추론이 필요한 다중 선택 독해 과제의 과제를 해결하기 위해.
• 질문과 답변 간의 상호작용 정보를 잃는 쌍방향 매칭(예: 문장-질문 또는 문장-답변만)의 한계를 극복하기 위해.
• 복잡하고 비추출적인 질문을 포함한 RACE 데이터셋에서 성능을 향상시키기 위해. 이러한 질문들은 여러 문장에 걸쳐 추론이 필요하다.
• 질문과 후보 답변이 문장 맥락과 동시에 관련이 있는지를 통합적이고 맥락 인식적인 방식으로 모델링하기 위해.

제안 방법

• 모델은 각 문장 위치에 대해 질문과 후보 답변에서 별도의 주의 가중치 벡터를 계산한다.
• 문장-질문 정렬과 문장-답변 정렬을 위한 두 개의 매칭 표현을 구성하여, 각 문장 위치에서 공일치 상태를 형성한다.
• 공일치 상태의 시퀀스를 대상으로 계층적 LSTMs를 적용하여 단어 수준에서 문장 수준, 문서 수준까지 정보를 집계한다.
• 모델은 질문과 답변 간의 상호작용을 명시적으로 모델링하는 공일치 메커니즘을 사용하여, 구조적 정보를 손실할 수 있는 연결(concatenation)을 피한다.
• 최종 표현은 후보 답변 간의 점수를 계산하는 데 사용되며, 가장 높은 점수를 받은 후보를 선택한다.
• 모델은 후보 답변에 대한 교차 엔트로피 손실 함수를 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 문장-질문 및 문장-답변 매칭을 동시에 모델링하면 다중 선택 독해 과제에서 성능 향상이 이루어지는가?
• RQ2 질문과 답변 간의 상호작용을 유지하는 공일치 전략은 순차적 또는 연결된 매칭 전략보다 어떻게 비교되는가?
• RQ3 공일치 상태의 계층적 집계는 긴 복잡한 문단에 대한 추론 능력을 얼마나 향상시키는가?
• RQ4 모델은 '대명사 해석', '추론', '진술-정당화' 질문과 같은 다양한 유형의 질문에 일반화되는가?
• RQ5 전반적인 성능 향상에서 공일치 메커니즘과 계층적 모델링의 기여도는 각각 얼마인가?

주요 결과

• 제안된 Hier-Co-Matching 모델은 RACE 데이터셋에서 최신 기준 성능(SOTA)을 달성하며, 이전 SOTA보다 3%p 향상되었다.
• 제거 실험에서 공일치 모듈을 간단한 질문과 답변의 연결로 대체할 경우 성능이 4%p 감소함을 확인하여, 공일치 모듈의 중요성을 입증했다.
• 공일치 상태의 계층적 LSTMs를 표준 2층 LSTMs로 대체할 경우 성능이 2%p 감소함을 관찰하여, 계층적 맥락 집계의 가치를 확인했다.
• 모델은 다양한 질문 유형에서 일관된 성능을 보였으며, '참' 진술-정당화 질문에서는 51%, '아니요' 부정 질문에서는 52%의 정확도를 기록했다.
• 대명사 해석 질문에서는 49.8%의 정확도를 기록하여 기준 방법(47.9%)을 능가하며, 공명사 처리 능력 향상을 입증했다.