[논문 리뷰] Densely Connected Attention Propagation for Reading Comprehension

Yi Tay, Anh Tuan Luu외 2명|arXiv (Cornell University)|2018. 11. 10.

Topic Modeling인용 수 47

한 줄 요약

DecaProp는 Bidirectional Attention Connectors를 사용하여 모든 passage-question 계층을 촘촘하게 연결하고, 네 가지 도전적인 RC 데이터셋에서 SOTA를 달성하며 강력한 baselines를 상당한 차이로 능가합니다.

ABSTRACT

We propose DecaProp (Densely Connected Attention Propagation), a new densely connected neural architecture for reading comprehension (RC). There are two distinct characteristics of our model. Firstly, our model densely connects all pairwise layers of the network, modeling relationships between passage and query across all hierarchical levels. Secondly, the dense connectors in our network are learned via attention instead of standard residual skip-connectors. To this end, we propose novel Bidirectional Attention Connectors (BAC) for efficiently forging connections throughout the network. We conduct extensive experiments on four challenging RC benchmarks. Our proposed approach achieves state-of-the-art results on all four, outperforming existing baselines by up to $2.6\%-14.2\%$ in absolute F1 score.

연구 동기 및 목표

• RC 모델에서 전통적인 인코드-인터랙트-예측 파이프라인을 넘어 더 깊은 정보 흐름을 유도합니다.
• 계층 전체에 걸쳐 모든 passage 및 query 계층을 연결하는 밀집 연결 아키텍처를 제안합니다.
• 주의 기반 압축을 통한 밀집하고 효율적인 크로스-레이어 연결을 가능하게 하는 Bidirectional Attention Connectors(BAC)를 도입합니다.
• 밀집하고 주의 기반의 연결성이 여러 RC 벤치마크에서 큰 실증 이점을 가져다줌을 보여줍니다.

제안 방법

• BAC를 압축된 양방향 주의 출력에 기반한 소형 학습 가능한 스킵 커넥터로 사용할 수 있도록 도입합니다. G(.)를 사용한 팩터화 머신(FM) 스타일로 스칼라 커넥터를 생성합니다.
• 각 층이 P와 Q를 BiRNN을 통과시키고, 모든 층 쌍에서 BAC를 통해 P와 Q를 밀집하게 연결하는 k층의 DecaEnc를 구성합니다.
• 밀집하게 전달된 표현에 대해 게이트드 어텐션과 게이트드 셀프-어텐션으로 구성된 DecaCore 상호작용 모듈을 사용합니다.
• 모든 BAC 출력을 인코더 출력과 연결하여 답안 포인터를 위한 풍부하고 다계층적인 표현 M을 만듭니다.
• 시작/끝 지수에 대해 교차 엔트로피로 학습되는 두 층 BiRNN 기반의 정답 포인터를 사용합니다 (L(θ) = -log p1 - log p2).
• 학습 중 고정된 상태로 초기화되는 GloVe 임베딩으로 시작하고, 표준 RC 최적화 설정으로 엔드투엔드 학습합니다.

실험 결과

연구 질문

• RQ1 고정 깊이 상호작용을 넘어 명시적으로 밀집한 주의 기반 크로스-레이어 연결이 RC 모델의 정보 흐름을 향상시킬 수 있는가?
• RQ2 패시지와 질의 표현 간의 비동기적 크로스 계층 연결이 동기식 동일 계층 상호작용보다 측정 가능한 이점을 제공하는가?
• RQ3 압축된 주의 기반 커넥터(BAC)가 많은 밀집 연결을 가능하게 하는 데 계산 비용의 부담 없이 얼마나 효과적인가?
• RQ4 밀집하게 연결된 주의 전파가 다양한 RC 벤치마크에 미치는 실증적 영향은 무엇인가?

주요 결과

• DecaProp는 네 가지 RC 벤치마크인 NewsQA, Quasar-T, SearchQA, NarrativeQA에서 최첨단 결과를 달성합니다.
• NewsQA에서 DecaProp는 AMANDA를 +4.7 EM 및 +2.6 F1로 개선하고 BiDAF를 상당한 차이로 상회합니다(예: +16% EM, +14% F1).
• Quasar-T에서 DecaProp는 Reinforced Ranker Reader(R3)보다 +4.4 EM 및 +6.0 F1으로 앞서고, BiDAF 및 GA를 큰 차이로 능가합니다(>15% F1).
• SearchQA에서 원래 설정에서는 AMANDA보다 +15.4 EM 및 +14.2 F1으로 앞서고, 전체 설정에서도 AQA와 R3를 유의미한 차이로 능가합니다(+18.1 EM / +18 F1).
• NarrativeQA에서 DecaProp은 지속적으로 기준 시스템을 능가하며 지표 전반에서 평균 약 5%의 개선을 보입니다.