[논문 리뷰] FusionNet: Fusing via Fully-Aware Attention with Application to Machine Comprehension

Hsin-Yuan Huang, Chenguang Zhu외 2명|arXiv (Cornell University)|2017. 11. 16.

Topic Modeling인용 수 86

한 줄 요약

FusionNet은 history-of-word 기반의 완전-자각(attention)과 다층 융합을 이용해 맥락과 질문을 이해하여 당시 SQuAD 및 적대적 데이터셋에서 최첨단 성능을 달성한다.

ABSTRACT

This paper introduces a new neural structure called FusionNet, which extends existing attention approaches from three perspectives. First, it puts forward a novel concept of "history of word" to characterize attention information from the lowest word-level embedding up to the highest semantic-level representation. Second, it introduces an improved attention scoring function that better utilizes the "history of word" concept. Third, it proposes a fully-aware multi-level attention mechanism to capture the complete information in one text (such as a question) and exploit it in its counterpart (such as context or passage) layer by layer. We apply FusionNet to the Stanford Question Answering Dataset (SQuAD) and it achieves the first position for both single and ensemble model on the official SQuAD leaderboard at the time of writing (Oct. 4th, 2017). Meanwhile, we verify the generalization of FusionNet with two adversarial SQuAD datasets and it sets up the new state-of-the-art on both datasets: on AddSent, FusionNet increases the best F1 metric from 46.6% to 51.4%; on AddOneSent, FusionNet boosts the best F1 metric from 56.0% to 60.7%.

연구 동기 및 목표

• 단어 임베딩에서 고수준 특징에 이르는 모든 표현 수준의 정보를 활용하여 기계 독해 능력의 향상을 이끄는 것을 목표로 한다.
• history-of-word를 사용하여 텍스트 간 상호작용을 측정하는 가볍고 fully-aware 주의 메커니즘을 개발한다.
• 질의-맥락 정보를 계층별로 활용하는 fully-aware 다층 융합 아키텍처를 제안하고 검증한다.
• SQuAD에서 최첨단 성능과 AddSent 및 AddOneSent와 같은 적대적 데이터셋에서의 강건성을 입증한다.

제안 방법

• 역사-of-word(HoW)을 계층 전반의 한 단어에 대한 모든 표현의 연결로 도입한다.
• 학습 안정화를 위해 대각 행렬 D를 포함한 분해 U^T D U를 사용하여 대칭적이고 비선형성이 강화된 주의 점수 함수 S(HoW_Ai, HoW_Bj)을 정의한다.
• Fully-Aware Multi-Level Fusion 구현: Q에서 C로 단어 수준 및 상위 수준 피처를 별도의 어텐션으로 융합; 여러 레벨에서 C에서 Q로 융합; HoW를 사용하여 C에 대한 자기 강화 융합을 적용한다.
• BiLSTM 기반의 독해 및 다층 융합을 사용하여 컨텍스트 이해 벡터 U_C와 질문 이해 벡터 U_Q를 생성한 뒤, 이 벡터들에 대한 어텐션을 통해 SQuAD에서 시작 위치와 끝 위치를 예측한다.
• SQuAD 및 적대적 SQuAD 데이터셋(AddSent, AddOneSent)에서 평가하고 동시대 모델과 비교한다.

실험 결과

연구 질문

• RQ1 history-of-word가 모든 표현 수준에서 포착될 때 MRC에서 주의(attention)와 융합이 개선될 수 있는가?
• RQ2 대칭적이고 비선형성이 강화된 fully-aware 주의가 학습 안정성과 성능 향상을 제공하는가?
• RQ3 다층적이고 fully-aware한 융합이 단층 또는 단순 융합 전략보다 MRC에서 우수한가?
• RQ4 FusionNet은 표준 및 적대적 MRC 벤치마크에서 어떤 성능을 보이는가?

주요 결과

• FusionNet은 당시 집계 방식(single) 및 앙상블 구성에서 SQuAD에서 최상위 결과를 달성했다(EM 78.8%, F1 85.9% 앙상블).
• 적대적 데이터셋 AddSent와 AddOneSent에서 FusionNet은 최고 F1 점수를 각각 46.6%에서 51.4%로, 56.0%에서 60.7%로 향상시켰다.
• 역사-of-word를 포함한 완전-다층 융합은 비완전-또는 단층 접근보다 EM/F1을 일관되게 개선한다.
• 대칭적 주의와 비선형성을 포함하는 구성은 절삭(ablation) 연구에서 가감적(Additive), 곱셈(Multiplicative), 스케일링(Scaled) 버전을 능가한다.
• 모델은 적대적 입력에 대한 일반화 능력이 강함을 보여주며, 언어 이해 능력의 향상을 시사한다.