[논문 리뷰] Efficient and Robust Question Answering from Minimal Context over Documents

Sewon Min, Victor W. Zhong외 2명|ArXiv.org|2018. 05. 21.

Topic Modeling참고 문헌 32인용 수 28

한 줄 요약

이 논문은 SQuAD, NewsQA, TriviaQA, SQuAD-Open, SQuAD-Adversarial 등에서 정확도를 유지하거나 향상시키면서도 훈련 및 추론 시간을 각각 최대 15배와 13배 감소시키는 최소한의 문맥을 갖춘 질문 응답 시스템을 제안한다. 이는 경량 문장 선택기로 문서에서 가장 관련성이 높은 문장들만 선택하여 구현된다. 또한 이 시스템은 파ip라인의 초기 단계에서 오락적 문장을 걸러내어 악성 입력에 대한 강건성을 향상시킨다.

ABSTRACT

Neural models for question answering (QA) over documents have achieved significant performance improvements. Although effective, these models do not scale to large corpora due to their complex modeling of interactions between the document and the question. Moreover, recent work has shown that such models are sensitive to adversarial inputs. In this paper, we study the minimal context required to answer the question, and find that most questions in existing datasets can be answered with a small set of sentences. Inspired by this observation, we propose a simple sentence selector to select the minimal set of sentences to feed into the QA model. Our overall system achieves significant reductions in training (up to 15 times) and inference times (up to 13 times), with accuracy comparable to or better than the state-of-the-art on SQuAD, NewsQA, TriviaQA and SQuAD-Open. Furthermore, our experimental results and analyses show that our approach is more robust to adversarial inputs.

연구 동기 및 목표

• 문서 기반 QA에서 질문에 답하기 위해 필요한 최소한의 문맥을 조사하여, 대부분의 질문이 몇 개의 문장만으로도 답할 수 있음을 밝힘.
• 전체 문서를 처리하는 대신 각 질문에 대해 가장 관련성이 높은 문장들만 선택함으로써 계산 비용을 줄이는 확장 가능한 QA 시스템을 개발함.
• QA 모델이 도달하기 전에 오락적 또는 오염된 문장을 걸러내어 악성 입력에 대한 강건성을 향상시킴.
• 기존 QA 모델에 대한 종단간 재학습 없이도 통합할 수 있는 융통성 있는 프레임워크를 구축함으로써 즉각적인 효율성 향상을 가능하게 함.

제안 방법

• 각 질문에 대해 답하기 위해 필요한 최소한의 문장 집합을 식별할 수 있도록 동적으로 문장 수를 변동시키는 문장 선택기를 설계함.
• 선택기의 핵심 기법으로는 사전 훈련된 모델에서의 가중치 전이, 문장 마스킹을 통한 데이터 증강, 선택 신뢰도 향상을 위한 점수 정규화를 활용함.
• 표준 QA 모델의 전처리 단계로 작동하여 DCN+와 같은 기존 아키텍처와의 호환성을 유지하며 종단간 미세조정이 필요 없음.
• 문장 선택기가 관련성이 높은 문장들만 QA 모델에 제공하는 파이프라인을 평가함으로써 문맥 길이와 계산 부담을 감소시킴.
• 다양한 문서 길이를 가진 다섯 개의 데이터셋, 포함하여 악성 변형 데이터셋을 대상으로 효율성과 강건성 평가를 수행함.
• 정답 스파니를 통한 지도 신호와 대비 학습을 조합하여 문장 선택기를 훈련함으로써 정답을 포함한 문장을 우선순위로 선별함.

실험 결과

연구 질문

• RQ1 기존 QA 데이터셋에서 질문에 답하기 위해 필요한 최소한의 문맥(문장 수 기준)은 어느 정도인가?
• RQ2 동적으로 길이가 변하는 문장 집합을 선택하는 경량 문장 선택기가 정확도를 흔들림 없이 QA 효율성을 향상시킬 수 있는가?
• RQ3 문맥 길이를 줄이면 악성 입력에 대한 모델의 강건성은 어떻게 영향을 받는가?
• RQ4 기존 QA 모델과 효과적으로 통합될 수 있는 모odu lar한 문장 선택 구성 요소는 훈련 및 추론 속도 향상에 기여하는가?
• RQ5 불필요하거나 악성 문장을 걸러내는 것이 추출 기반 QA에서 더 신뢰할 수 있는 예측을 이끌어내는가?

주요 결과

• SQuAD에서 92%의 답변 가능한 질문은 단 한 개의 문장만으로도 답할 수 있어 대부분의 질문이 최소한의 문맥으로도 해결됨을 시사함.
• 제안된 시스템은 SQuAD 및 TriviaQA를 포함한 여러 데이터셋에서 최대 15배의 훈련 시간 감소와 최대 13배의 추론 시간 감소를 달성함.
• SQuAD-Adversarial에서 최소 문맥 접근 방식은 전체 문서 기반 베이스라인보다 AddSent 및 AddOneSent 작업에서 각각 11.1점과 11.5점의 F1 점수 향상을 보이며, 더 뛰어난 강건성을 입증함.
• 문장 선택기가 악성 문장을 성공적으로 걸러내어, 문서에 악성 문장이 존재하더라도 QA 모델이 정답 스파니에 집중할 수 있도록 함.
• SQuAD, NewsQA, TriviaQA, SQuAD-Open, SQuAD-Adversarial에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성하며, 기존 모델과 비교해 정확도가 유사하거나 뛰어남.
• 이 방법은 모듈식이며 기존 QA 모델과 호환되어 재학습이나 아키텍처 변경 없이도 상당한 속도 향상을 가능하게 함.