[논문 리뷰] Retrieve-and-Read: Multi-task Learning of Information Retrieval and Reading Comprehension

Kyosuke Nishida, Itsumi Saito외 3명|arXiv (Cornell University)|2018. 08. 31.

Topic Modeling참고 문헌 52인용 수 30

한 줄 요약

이 논문은 정보 검색(IR)과 독해 이해(RC)를 함께 학습하기 위해 공유된 은닉층과 연합 손실 최소화를 통해 감독형 다중 작업 학습 모델인 Retrieve-and-Read를 제안한다. 답변 구간에 대한 감독 신호를 사용해 IR 구성 요소를 훈련시킴으로써 문단 재정렬 정확도를 크게 향상시켰으며, 전체 위키백과를 지식 소스로 사용할 때 SQuAD에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

This study considers the task of machine reading at scale (MRS) wherein, given a question, a system first performs the information retrieval (IR) task of finding relevant passages in a knowledge source and then carries out the reading comprehension (RC) task of extracting an answer span from the passages. Previous MRS studies, in which the IR component was trained without considering answer spans, struggled to accurately find a small number of relevant passages from a large set of passages. In this paper, we propose a simple and effective approach that incorporates the IR and RC tasks by using supervised multi-task learning in order that the IR component can be trained by considering answer spans. Experimental results on the standard benchmark, answering SQuAD questions using the full Wikipedia as the knowledge source, showed that our model achieved state-of-the-art performance. Moreover, we thoroughly evaluated the individual contributions of our model components with our new Japanese dataset and SQuAD. The results showed significant improvements in the IR task and provided a new perspective on IR for RC: it is effective to teach which part of the passage answers the question rather than to give only a relevance score to the whole passage.

연구 동기 및 목표

• 오픈 도메인 QA 시스템에서 IR 정확도가 전체 성능을 제한하는 문제점을 해결하기 위해.
• 질문에 대한 답변 구간에 대한 감독 신호를 사용해 IR을 훈련시키면 독해 이해를 위한 검색 품질이 향상되는지 조사하기 위해.
• 공유된 표현을 통해 IR 및 RC 구성 요소가 상호 보완적으로 기여할 수 있는 공동 학습 프레임워크를 개발하기 위해.
• 새로운 일본어 데이터셋을 사용해 저자원 및 다국어 환경에서의 다중 작업 학습의 효과를 평가하기 위해.
• 빠른 IR과 정확한 신경 재정렬을 조합함으로써 엔드 투 엔드 QA 시스템의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 모델은 IR 및 RC 작업 모두에 대해 공유된 인코더 네트워크를 사용하여, 은닉층을 공유함으로써 파rameter 공유와 지식 전이를 가능하게 한다.
• 문단 관련성(IR)에 대한 손실 함수와 답변 구간 추출(RC)에 대한 손실 함수를 함께 최적화한다.
• IR의 부정 예시는 동일한 SQuAD 데이터에서 질문과 관련 없는 문단을 조합하여 생성된다.
• 빠른 정확 매칭 IR 결과를 신경 모델이 재정렬함으로써 속도와 확장성을 유지하는 텔레스코프 설정을 적용한다.
• 답변 구간의 감독 신호를 활용해 SQuAD 스타일의 트리플 (질문, 문단, 답변 구간)로 엔드 투 엔드로 훈련된다.
• QANet과 같은 최신 RC 모델과 호환되며, 답변 불가 질문을 처리할 수 있도록 확장 가능하다.

실험 결과

연구 질문

• RQ1 대규모 기계 독해에서 답변 구간 감독 신호를 사용해 IR 구성 요소를 훈련시키면 검색 정확도가 향상되는가?
• RQ2 공유된 표현을 사용한 다중 작업 학습이 고립된 훈련 대비 IR 및 RC 성능을 향상시키는가?
• RQ3 비영어 코퍼스, 특히 주제가 유사하고 중복된 문단이 존재하는 상황에서 제안된 방법의 효과는 어떠한가?
• RQ4 IR 구성 요소에서 답변 구간 감독 신호와 연합 손실 최소화의 개별 기여도는 무엇인가?
• RQ5 대규모 검색 환경에서 계산 효율성을 유지하면서도 높은 성능을 유지를 할 수 있는가?

주요 결과

• Retrieve-and-Read 모델은 전체 위키백과에서 검색할 때 SQuAD 벤치마크에서 최신 기술 성능(SOTA)을 달성했다.
• 답변 구간 감독 신호를 사용해 훈련한 IR 구성 요소는 질문 단어 매칭만으로 발생하는 검색 오류를 크게 줄이며 성능 향상을 보였다.
• 새로운 Jp-News 데이터셋에서 강력한 일반화 능력을 입증했으며, 주제가 유사한 일본어 뉴스 기사가 포함되어 있어 다국어 및 복잡한 검색 환경에서의 효과성을 입증했다.
• 제거 실험을 통해 답변 구간 감독이 관련성 전용 감독보다 IR에 더 효과적임을 확인했으며, 이는 모델이 답변 관련 맥락을 식별하도록 가르친다는 점을 시사한다.
• 텔레스코프 설정 덕분에 정확도를 희생시키지 않은 채 고속 추론이 가능해져 대규모 배포에 실용적인 모델이 되었다.
• 다중 작업 학습 설정은 IR 및 RC 성능을 모두 향상시켰으며, 공유 표현이 전체 QA 시스템의 견고성 향상에 기여한다는 점을 보여주었다.