[논문 리뷰] Enhancing Freebase Question Answering Using Textual Evidence.

Kun Xu, Yansong Feng외 3명|arXiv (Cornell University)|2016. 03. 03.

Topic Modeling참고 문헌 41인용 수 8

한 줄 요약

이 논문은 신경 관계 추출 파이프라인에 위키피디아 텍스트 증거를 통합하여 프리베이스 기반 질문 응답을 향상시키는 하이브리드 접근법을 제안한다. 먼저 신경 모델을 사용해 프리베이스에서 후보 답변을 검색한 다음, 위키피디아를 활용해 이를 보완 모델로 검증함으로써 WebQuestions에서 53.3 F1 점수를 달성하며 이는 이전 방법들보다 뚜렷이 뛰어나다.

ABSTRACT

Existing knowledge-based question answering systems often rely on small annotated training data. While shallow methods like information extraction techniques are robust to data scarcity, they are less expressive than deep understanding methods, thereby failing at answering questions involving multiple constraints. Here we alleviate this problem by empowering a relation extraction method with additional evidence from Wikipedia. We first present a novel neural network based relation extractor to retrieve the candidate answers from Freebase, and then develop a refinement model to validate answers using Wikipedia. We achieve 53.3 F1 on WebQuestions, a substantial improvement over the state-of-the-art.

연구 동기 및 목표

• 다중 제약 조건을 수반하는 복잡한 질문을 다루는 데에 한계가 있는 지식 기반 QA 시스템의 문제를 해결하기 위해.
• 외부 텍스트 증거인 위키피디아를 활용해 학습 데이터 부족 문제를 완화하기 위해.
• 얕은 정보 추출 방법이 달성할 수 있는 수준을 초월해 정답 정확도를 향상시키기 위해.
• 자연어 증거를 활용해 프리베이스 정답을 검증하는 보완 메커니즘을 개발하기 위해.
• WebQuestions 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 질문 임bedding를 사용해 프리베이스에서 후보 답변을 검색할 수 있도록 신경망 기반 관계 추출기를 훈련시킨다.
• 각 후보 답변에 대해 관련된 위키피디아 문단을 텍스트 증거로 수집한다.
• 질문과 증거 텍스트를 비교하여 후보 답변을 검증하기 위해 보완 모델을 도입한다.
• 질문과 증거 텍스트 간의 정렬을 향상시키기 위해 주의 메커니즘을 사용하여 정답 신뢰도를 높인다.
• 두 단계 아키텍처를 통해 프리베이스 검색과 위키피디아 기반 검증을 결합한 파이프라인을 구성한다.
• 관계 추출과 증거 기반 검증을 공동 최적화하는 방식으로 엔드 투 엔드로 훈련 가능한 모델이다.

실험 결과

연구 질문

• RQ1 외부 텍스트 증거인 위키피디아가 프리베이스 기반 질문 응답의 정확도를 향상시킬 수 있는가?
• RQ2 신경 관계 추출기와 위키피디아 보완을 조합한 방식이 다중 제약 조건을 수반하는 복잡한 질문을 다룰 때 얼마나 효과적인가?
• RQ3 증거 기반 검증이 프리베이스 QA 시스템에서 잘못된 양의 정답(가짜 정답)을 얼마나 줄이는가?
• RQ4 위키피디아 통합이 WebQuestions와 같은 오픈 도메인 질문 응답 벤치마크에서 성능 향상에 기여하는가?
• RQ5 제한된 레이블 데이터를 가진 상황에서 이중 단계 접근 방식이 엔드 투 엔드 신경망 모델보다 우월한가?

주요 결과

• 제안된 방법은 WebQuestions 벤치마크에서 53.3 F1 점수를 기록하여 이전 최신 기술 수준의 방법들보다 뚜렷한 향상을 이뤘다.
• 위키피디아 증거 통합이 다중 제약 조건을 수반하는 복잡한 질문에 대해 정답 검증을 크게 향상시켰다.
• 제한된 학습 데이터 조건에서도 프리베이스에서 후보 정답을 검색하는 데 있어 신경 관계 추출기가 뛰어난 성능을 보였다.
• 자연어 증거를 활용해 잘못된 정답을 효과적으로 걸러내어 환각 현상과 오류율을 감소시켰다.
• 후보 정답 검색 후 증거 기반 검증을 수행하는 이중 단계 파이프라인은 단일 단계 접근 방식보다 더 효과적인 것으로 입증되었다.
• 결과적으로 외부 텍스트 증거가 지식 기반 QA 시스템에서 데이터 부족 문제를 보완할 수 있음을 확인했다.