[논문 리뷰] Bidirectional Attention Flow for Machine Comprehension

Min Joon Seo, Aniruddha Kembhavi외 2명|arXiv (Cornell University)|2016. 11. 05.

Topic Modeling인용 수 1,291

한 줄 요약

BiDAF는 쿼리-맥락 상호 작용을 조기에 컨텍스트를 요약하지 않고 모델링하는 다중 단계의 기억 없는 양방향 주의 흐름 네트워크를 도입하여 SQuAD와 CNN/DailyMail의 벤치마크에서 최첨단 성과를 달성합니다.

ABSTRACT

Machine comprehension (MC), answering a query about a given context paragraph, requires modeling complex interactions between the context and the query. Recently, attention mechanisms have been successfully extended to MC. Typically these methods use attention to focus on a small portion of the context and summarize it with a fixed-size vector, couple attentions temporally, and/or often form a uni-directional attention. In this paper we introduce the Bi-Directional Attention Flow (BIDAF) network, a multi-stage hierarchical process that represents the context at different levels of granularity and uses bi-directional attention flow mechanism to obtain a query-aware context representation without early summarization. Our experimental evaluations show that our model achieves the state-of-the-art results in Stanford Question Answering Dataset (SQuAD) and CNN/DailyMail cloze test.

연구 동기 및 목표

• 질문과 맥락 간의 상호 작용을 더 잘 모델링함으로써 기계 이해를 동기부여하고 개선한다.
• 콘텍스트를 고정 크기 벡터로 조기에 요약하는 것을 피하여 정보 흐름을 보존한다.
• 기억 없는 양방향 주의 메커니즘을 제안하고 계층적 아키텍처로 흐르게 한다.
• 문자, 어휘 및 맥락 임베딩을 다층 모델링 스택과 결합하여 정답 범위를 예측한다.

제안 방법

• 문자 수준 CNN과 사전 학습된 어휘 임베딩을 사용하고 이어서 2층 Highway 네트워크를 적용한다.
• 맥락과 쿼리를 각각 인코딩하기 위해 컨텍스트 기반의 양방향 LSTM을 적용한다.
• 맥락과 쿼리 간의 공유 유사도 행렬을 구성하여 양방향 주의 흐름(Bi-Directional Attention Flow)을 계산한다.
• 주목도에서 도출된 벡터를 고정 벡터로 축약하기보다는 모델링 층( bi-LSTM )으로 흐르게 한다.
• 질의 응답용 시작/끝 범위 예측 메커니즘을 사용하고, 실제 시작 및 끝 인덱스의 음의 로그 가능도를 가진 학습을 수행한다.
• Evaluate with SQuAD (EM and F1) and CNN/DailyMail cloze tasks.

실험 결과

연구 질문

• RQ1 쿼리와 맥락 간의 양방향 기억 없는 주의가 단방향 또는 동적으로 주의되는 메커니즘보다 기계 이해를 향상시킬 수 있는가?
• RQ2 다음의 모델링 층들을 거치며 토큰 수준의 주의 흐름을 유지하는 것이 정보를 보존하고 답변 위치 지정을 개선하는가?
• RQ3 다층 임베딩(문자, 어휘, 맥락)들이 QA 성능에 어떻게 기여하는가?
• RQ4 C2Q 대 Q2C 주의 및 주의 흐름에 대한 제거가 성능에 미치는 영향은 무엇이며, 동적 주의와의 차이가 있는가?

주요 결과

모델	EM (단일)	F1 (단일)	EM (앙상블)	F1 (앙상블)
로지스틱 회귀 베이스라인	40.4	51.0	-	-
다이나믹 청크 리더	62.5	71.0	-	-
세밀한 게이팅	62.5	73.3	-	-
Match-LSTM	64.7	73.7	67.9	77.0
다중 관점 매칭	65.5	75.1	68.2	77.2
다이나믹 코어어텐션 네트워크	66.2	75.9	71.6	80.4
R-Net	68.4	77.5	72.1	79.7
BiDAF (Ours)	68.0	77.3	73.3	81.1

• BiDAF가 단일 모델 및 앙상블 구성에서 SQuAD 테스트 세트에서 최첨단 결과를 달성했다(EM 및 F1 지표).
• SQuAD에서 BiDAF 단일 모델: EM 68.0 및 F1 77.3; 앙상블: EM 73.3 및 F1 81.1.
• BiDAF는 CNN/DailyMail 클로즈에서도 강력한 결과를 보여, 이전 단일 모델 접근법을 능가하고 일부 앙상블과 일치/상회하는 성능을 기록했다(CNN/DailyMail 검증/테스트).
• C2Q 또는 Q2C 주의 제거가 성능 저하를 보이며; 별도의 주의 및 모델링 층으로 구성된 기억 없는(정적) 주의가 동적 주의보다 우수한 것으로 나타났다.
• 문자 및 어휘 임베딩이 성능에 기여하며, 맥락 임베딩은 쿼리 단어에 대한 정렬을 개선한다.
• 시각화 및 오차 분석은 모델이 합리적인 쿼리-맥락 정렬과 정답 범위를 나타내는 위치를 학습함을 시사한다.