[논문 리뷰] DCN+: Mixed Objective and Deep Residual Coattention for Question Answering

Caiming Xiong, Victor W. Zhong외 1명|arXiv (Cornell University)|2017. 10. 31.

Topic Modeling참고 문헌 23인용 수 86

한 줄 요약

DCN+는 깊은 잔여 코어텐션 인코더와 교차 엔트로피 손실과 자기-비판 강화 학습을 혼합한 목표를 결합하여 SQuAD에서 최첨단 성능을 달성합니다. 이 모델은 긴 질문 처리와 전반적인 QA 성능을 개선합니다.

ABSTRACT

Traditional models for question answering optimize using cross entropy loss, which encourages exact answers at the cost of penalizing nearby or overlapping answers that are sometimes equally accurate. We propose a mixed objective that combines cross entropy loss with self-critical policy learning. The objective uses rewards derived from word overlap to solve the misalignment between evaluation metric and optimization objective. In addition to the mixed objective, we improve dynamic coattention networks (DCN) with a deep residual coattention encoder that is inspired by recent work in deep self-attention and residual networks. Our proposals improve model performance across question types and input lengths, especially for long questions that requires the ability to capture long-term dependencies. On the Stanford Question Answering Dataset, our model achieves state-of-the-art results with 75.1% exact match accuracy and 83.1% F1, while the ensemble obtains 78.9% exact match accuracy and 86.0% F1.

연구 동기 및 목표

• QA 모델에서 평가 지표(텍스트 중복)와 학습 목표(정확한 범위)의 간극을 해소한다.
• 잔여 연결을 통해 코어텐션 인코더를 심화하여 QA 표현 학습을 개선한다.
• 교차 엔트로피와 자기-비판 정책 학습을 결합한 혼합 목표를 도입하여 그라운드 트루스 답변과의 사실적 중첩을 최적화한다.
• SQuAD에서 긴 질문을 포함한 다양한 질문 유형과 길이에 대해 성능 향상을 입증한다.

제안 방법

• DCN에 깊은 잔여 코어텐션 인코더를 확장하여 코어텐션 층을 쌓고 잔여 연결과 융합한다.
• 두 계층 코어텐션을 계산하고 다양한 표현(E1D, E2D, S1D, S2D, C1D, C2D)을 최종 인코딩 전에 연결한다.
• 시작 위치/끝 위치에 대한 교차 엔트로피 손실과 F1 단어 중첩을 기반으로 한 강화 학습 보상을 결합한 혼합 목표를 도입한다(자기-비판 기준선).
• 다-task 학습을 사용하여 작업 의존 불확실성 가중치를 통해 CE 손실과 RL 손실을 혼합한다.
• ADAM과 표준 QA 전처리를 사용한 학습; PyTorch로 구현; GloVe+CoVe+char n-grams 임베딩 사용.
• Deep residual coattention과 혼합 목표의 기여를 평가하기 위해 SQuAD에서 평가 및 제거 실험(ablations)을 수행한다.

실험 결과

연구 질문

• RQ1 깊은 잔여 코어텐션 인코더가 QA 성능에 어떤 영향을 미치는가, 특히 긴 질문에 대해?
• RQ2 교차 엔트로피와 자기-비판 강화 학습의 결합이 QA에서 최적화와 평가 지표의 정렬을 개선하는가?
• RQ3 깊은 잔여 코어텐션과 혼합 목표의 상대적 기여도는 무엇인가?
• RQ4 제안된 DCN+가 서로 다른 질문 유형과 길이에서 DCN 베이스라인보다 SQuAD에서 더 나은 성능을 보이는가?

주요 결과

• DCN+는 단일 모델에서 SQuAD 테스트에서 EM 75.1%, F1 83.1%를 달성; 앙상블은 EM 78.9%, F1 86.0%를 달성한다.
• DCN+는 개발 세트에서 CoVe를 사용하는 DCN 베이스라인보다 EM에서 3.2포인트, F1에서 3.2포인트 더 우수하다.
• 깊은 잔여 코어텐션이 ablation 중 가장 큰 단일 기여를 제공하며, 그 다음으로 혼합 목표가 뒤따른다.
• 혼합 목표는 정책 학습을 안정화하고 자기-비판 기준선과 결합된 교차 엔트로피 손실과 함께 더 나은 최종 성능을 낸다.
• 모델은 긴 질문과 고차원 의존성에 대해 유의미한 이득을 보인다.