[논문 리뷰] An Abstractive approach to Question Answering.

Rajarshee Mitra|arXiv (Cornell University)|2017. 11. 16.

Topic Modeling참고 문헌 13인용 수 6

한 줄 요약

이 논문은 문장 간 관계를 순서-순서 학습을 통해 인코딩하여 요약형 질문 응답을 생성하는 모델을 제안한다. 복사 메커니즘과 커버리지 벡터를 사용하여 응답의 독해 가능성과 사실 유지 능력을 향상시켜, 기존 베이스라인 대비 MS-MARCO에서 뛰어난 성능을 달성한다.

ABSTRACT

Question Answering has come a long way from answer sentence selection, relational QA to reading and comprehension. We move our attention to abstractive question answering by which we facilitate machine to read passages and answer questions by generating them. We frame the problem as a sequence to sequence learning where the encoder being a network that models the relation between question and passage, thereby relying solely on passage and question content to form an abstraction of the answer. Not being able to retain facts and making repetitions are common mistakes that affect the overall legibility of answers. To counter these issues, we employ copying mechanism and maintenance of coverage vector in our model respectively. Our results on MS-MARCO demonstrates it's superiority over baselines and we also show qualitative examples where we improved in terms of correctness and readability.

연구 동기 및 목표

• 질문과 문단 간 관계를 모델링하여 응답을 생성하는 신경망 요약형 QA 시스템을 개발하는 것.
• 아키텍처적 개선을 통해 요약 생성에서 흔히 발생하는 사실 손실 및 반복 문제를 해결하는 것.
• 복사 메커니즘과 커버리지 벡터를 통합하여 응답의 명확성과 정확도를 향상시키는 것.
• MS-MARCO 벤치마크에서 최신 기술 수준의 성능을 입증하는 것.

제안 방법

• 질문과 문단 간 관계를 캡처하기 위해 인코더를 갖춘 순서-순서 프레임워크를 사용한다.
• 생성된 응답에 문단의 사실적 내용을 유지하기 위해 복사 메커니즘을 적용한다.
• 이미 주목한 토큰을 추적함으로써 반복을 줄이기 위해 커버리지 벡터를 유지한다.
• 순서-순서 학습을 사용하여 MS-MARCO 데이터셋에서 엔드 투 엔드로 모델을 훈련시킨다.
• 디코딩 중 질문과 문단 표현 간의 정렬을 위해 어텐션 메커니즘을 사용한다.

실험 결과

연구 질문

• RQ1 순서-순서 모델이 질문과 문단의 내용만을 사용하여 효과적으로 요약형 응답을 생성할 수 있는가?
• RQ2 복사 메커니즘을 통합함으로써 생성된 응답에서 사실 유지 능력이 어떻게 향상되는가?
• RQ3 커버리지 벡터를 유지함으로써 요약형 QA 출력에서 반복이 어느 정도 감소하는가?
• RQ4 제안된 모델이 기존 베이스라인보다 MS-MARCO 벤치마크에서 뛰어난 성능을 보이는가?

주요 결과

• 제안된 모델은 기존 베이스라인 대비 MS-MARCO 벤치마크에서 뛰어난 성능을 달성한다.
• 질적 예시를 통해 생성된 응답의 정확성과 독해 가능성 향상이 확인된다.
• 복사 메커니즘이 문단의 핵심 사실을 출력에 효과적으로 유지한다.
• 커버리지 벡터는 반복적인 토큰 생성을 줄여 응답의 유창성을 향상시킨다.