[논문 리뷰] Answering while Summarizing: Multi-task Learning for Multi-hop QA with Evidence Extraction

Kosuke Nishida, Kyosuke Nishida외 5명|arXiv (Cornell University)|2019. 05. 21.

Topic Modeling참고 문헌 40인용 수 5

한 줄 요약

이 논문은 다중 힙 다중 질문 답변에서 증거 추출을 질의 중심 요약으로 모델링하는 다중 작업 학습 프레임워크인 Query Focused Extractor (QFE)를 제안한다. 질문에 대한 어텐션을 갖는 RNN을 사용하여 증거 문장을 순차적으로 추출하면서 종속성과 커버리지 모델링을 수행하며, HotpotQA (RC) 및 FEVER (RTE) 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

Question answering (QA) using textual sources for purposes such as reading comprehension (RC) has attracted much attention. This study focuses on the task of explainable multi-hop QA, which requires the system to return the answer with evidence sentences by reasoning and gathering disjoint pieces of the reference texts. It proposes the Query Focused Extractor (QFE) model for evidence extraction and uses multi-task learning with the QA model. QFE is inspired by extractive summarization models; compared with the existing method, which extracts each evidence sentence independently, it sequentially extracts evidence sentences by using an RNN with an attention mechanism on the question sentence. It enables QFE to consider the dependency among the evidence sentences and cover important information in the question sentence. Experimental results show that QFE with a simple RC baseline model achieves a state-of-the-art evidence extraction score on HotpotQA. Although designed for RC, it also achieves a state-of-the-art evidence extraction score on FEVER, which is a recognizing textual entailment task on a large textual database.

연구 동기 및 목표

• 해석 가능한 다중 힙 질문 답변에 도전하기 위해 시스템이 해석 가능성에 기여하는 관련 증거 문장을 추출할 수 있도록 하는 것.
• 증거 문장 간의 종속성 모델링과 질문 내용의 포괄적 커버리지 보장을 통해 증거 추출 성능을 향상시키는 것.
• 독서 이해(reading comprehension, RC) 및 텍스트 포함성 인식(recognizing textual entailment, RTE)를 포함한 다양한 QA 작업으로 이론을 일반화하는 것.
• 증거 추출이 질의 중심 요약 작업으로 효과적으로 모델링될 수 있음을 보여주는 것.
• 특수 작업 아키텍처 재설계 없이도 증거 추출에서 최신 기술 성능을 달성하는 것.

제안 방법

• QFE는 질문에 대한 어텐션 메커니즘을 갖춘 RNN을 사용하는 질의 중심 요약 모델에 기반하며, 순차적으로 증거 문장을 추출한다.
• 모델은 질문에 주의를 기울이고 추출된 문장 간의 종속성을 모델링하여 증거 문장의 수를 동적으로 결정한다.
• 다중 작업 학습을 활용하여, 공유된 컨텍스트 표현을 사용해 답변 선택을 위한 QA 모델과 QFE를 함께 훈련한다.
• 이 접근법은 증거 추출을 순차적 선택 작업으로 간주하며, 질문의 핵심 정보를 커버하는 문장을 우선순위에 두어 처리한다.
• 이 모델은 독서 이해(HotpotQA) 및 텍스트 포함성(FEVER)에 적용되며, 둘 다 해석 가능한 다중 힙 QA 작업으로 간주된다.
• 이 방법은 일반적이며, 어떤 QA 모델과도 조합 가능하며, 증거 추출을 위한 플러그인 모듈로 작동한다.

실험 결과

연구 질문

• RQ1 다중 힙 QA에서 증거 추출을 질의 중심 요약 작업으로 효과적으로 모델링할 수 있는가?
• RQ2 질문에 대한 어텐션을 활용한 순차적 증거 추출은 독립적 추출에 비해 종속성 모델링과 커버리지 향상에 기여하는가?
• RQ3 통합된 QFE 모델이 RC 및 RTE와 같은 다양한 QA 작업에서 최신 기술 성능을 달성할 수 있는가?
• RQ4 QFE를 활용한 다중 작업 학습은 증거 추출 및 답변 선택 성능에 어떤 영향을 미치는가?
• RQ5 증거 추출의 적응형 종료 전략은 정밀도 및 F1 스코어 향상에 얼마나 기여하는가?

주요 결과

• QFE는 테스트 세트에서 F1 1위, 정밀도 2위, 재현율 3위를 기록하며 HotpotQA에서 최신 기술 성능을 달성했다.
• FEVER 벤치마크에서 QFE는 경쟁 모델들 중에서 가장 높은 증거 추출 스코어를 기록했으며, 답변 예측 스코어는 유사하게 유지했다.
• 제거 실험을 통해 기준 증거 추출기 대비 QFE로 교체함으로써 증거 추출 성능이 크게 향상됨을 확인했다.
• 앙상블 모델은 재현율과 F1을 향상시켜, 다수의 예측을 조합함으로써 관련 증거의 커버리지 향상이 가능함을 시사했다.
• QFE는 적응형 종료 기능을 보이며, 불필요한 문장의 과다 추출을 방지함으로써 정밀도 향상에 기여했다.
• QFE는 HotpotQA에서 증거 추출에서 기준 모델을 초월한 최초의 모델이었으며, 이 작업의 새로운 최신 기술 성능을 수립했다.