[논문 리뷰] Multi-Perspective Context Matching for Machine Comprehension

Zhiguo Wang, Haitao Mi외 2명|arXiv (Cornell University)|2016. 12. 13.

Topic Modeling참고 문헌 19인용 수 115

한 줄 요약

본 논문은 SQuAD에서 추출형 기계 독해를 위한 다중 관점 컨텍스트 매칭(MPCM) 모델을 제시한다. Passage의 맥락을 여러 관점에서 질문과 매칭하고 BiLSTM으로 집계하여 정답 구간을 예측한다.

ABSTRACT

Previous machine comprehension (MC) datasets are either too small to train end-to-end deep learning models, or not difficult enough to evaluate the ability of current MC techniques. The newly released SQuAD dataset alleviates these limitations, and gives us a chance to develop more realistic MC models. Based on this dataset, we propose a Multi-Perspective Context Matching (MPCM) model, which is an end-to-end system that directly predicts the answer beginning and ending points in a passage. Our model first adjusts each word-embedding vector in the passage by multiplying a relevancy weight computed against the question. Then, we encode the question and weighted passage by using bi-directional LSTMs. For each point in the passage, our model matches the context of this point against the encoded question from multiple perspectives and produces a matching vector. Given those matched vectors, we employ another bi-directional LSTM to aggregate all the information and predict the beginning and ending points. Experimental result on the test set of SQuAD shows that our model achieves a competitive result on the leaderboard.

연구 동기 및 목표

• 실제적이고 대규모 MC 평가 데이터(SQuAD)와 엔드투엔드 모델링이 필요하다는 점의 동기 제시.
• 정답 구간의 시작점과 끝점을 직접 예측하는 엔드투엔드 MPCM 모델의 제안.
• 다중 관점 매칭이 기저선보다 구간 식별을 향상시키는지 Demonstrate.
• MPCM 아키텍처의 결정적 구성요소를 확인하기 위한 애블레이션 결과 제시

제안 방법

• 고정된(Words) 및 문자 구성 임베딩으로 단어 표현.
• 질문 관련성 r_j로 Passage 단어를 재가중하는 필터 계층.
• 질문과 Passage에 대한 BiLSTM 기반 컨텍스트 표현.
• l개의 관점과 여러 전략(전체, 최대풀링, 평균풀링)을 갖는 Multi-Perspective Context Matching Layer.
• 매칭 벡터를 융합하기 위한 BiLSTM 기반 Aggregation Layer.
• 두 개의 분리된 소프트맥스 헤드로 a_b와 a_e를 예측하여 Pr(a_b|Q,P)와 Pr(a_e|Q,P)를 얻는 Prediction Layer

실험 결과

연구 질문

• RQ1 MPCM 모델이 동시대 방법들과 비교하여 SQuAD 테스트 세트에서 얼마나 경쟁적인가?
• RQ2 다중 관점 매칭 접근이 질문-인지 Passage 표현과 구간 예측을 향상시키는가?
• RQ3 관점의 수(l)가 성능에 어떤 영향을 미치는가?
• RQ4 MPCM 아키텍처의 구성요소 중 어떤 것들이 성능에 가장 크게 기여하는가(애블레이션 분석)?

주요 결과

• Single MPCM은 SQuAD 테스트 세트에서 EM 65.5와 F1 75.1을 달성한다.
• Ensemble MPCM은 EM 68.2와 F1 77.2로 향상시킨다.
• MPCM은 여러 기저선과 비교해 우수한 편(예: BiDAF EM 68.0, F1 77.3; r-net EM 69.5, F1 77.9).
• 관점 수를 1에서 50으로 증가시킬 때 성능이 향상되어 EM 60.7→66.1, F1 71.7→75.8로 나타난다.
• 애블레이션은 Aggregation Layer와 특정 매칭 전략이 성능에 중요함을 보여준다.
• 레이어 애블레이션은 ключ 구성 요소를 제거하면 결과가 저하되며, Aggregation의 영향이 특히 큼을 시사한다.