[논문 리뷰] Question Answering on Freebase via Relation Extraction and Textual Evidence

Kun Xu, Siva Reddy외 3명|arXiv (Cornell University)|2016. 03. 03.

Topic Modeling참고 문헌 52인용 수 16

한 줄 요약

이 논문은 복잡하고 구성적인 질문에 대해 정확도를 향상시키기 위해 Freebase에서의 신경망 기반 관계 추출과 위키백과에서의 텍스트 증거를 융합하는 하이브리드 질문 응답 프레임워크를 제안한다. Freebase에서 엔티티 연결과 관계 추출을 동시에 수행한 후, 위키백과 문장으로 후보 답변을 검증함으로써, WebQuestions에서 F1 스코어 53.3%를 달성하며 이전 최고 성능 기준을 초월한다. 이는 표현력 부족과 데이터 부족 문제를 보완하기 위해 비정형 텍스트를 활용한 결과이다.

ABSTRACT

Existing knowledge-based question answering systems often rely on small annotated training data. While shallow methods like relation extraction are robust to data scarcity, they are less expressive than the deep meaning representation methods like semantic parsing, thereby failing at answering questions involving multiple constraints. Here we alleviate this problem by empowering a relation extraction method with additional evidence from Wikipedia. We first present a neural network based relation extractor to retrieve the candidate answers from Freebase, and then infer over Wikipedia to validate these answers. Experiments on the WebQuestions question answering dataset show that our method achieves an F_1 of 53.3%, a substantial improvement over the state-of-the-art.

연구 동기 및 목표

• 순수한 관계 추출 방법으로는 어려운 '가장 높은' 또는 '어머니'와 같은 다중 제약 조건을 포함한 구성 질문을 해결하는 데 도전한다.
• 학습 데이터 부족 문제를 완화하기 위해 위키백과를 외부 증거로 활용하여 Freebase의 후보 답변을 검증한다.
• 복잡한 의미 분석이나 대규모 주석 데이터셋에 의존하지 않고도 관계 추출 모델의 강건성과 표현력을 향상시킨다.
• 구조화된 지식 기반과 비구조화된 텍스트 사이의 격차를 해소하기 위해 두 소스 간의 공동 추론을 가능하게 한다.
• 특히 하위어소성(lexical compositionality)을 포함한 질문에 대해 텍스트 증거를 통해 답변 선택을 향상시키는 확장 가능한 종단 간 파이프라인을 개발한다.

제안 방법

• 다중 채널 컨볼루션 신경망(MCCNN)을 사용하여 Freebase에서 엔티티 연결과 관계 추출을 동시에 수행하며, 문법적 및 문장 수준의 특징을 활용해 후보 답변을 예측한다.
• 의존성 및 단어 수준의 특징을 캡처할 수 있는 문법 인식 아키텍처를 사용하여 질문의 엔티티와 후보 관계를 처리한다.
• 엔티티-관계 구성에 대한 공동 추론을 통해 Freebase의 후보 답변을 랭크된 목록으로 생성한다.
• 두 번째 단계의 답변 정밀화 모델은 주제 엔티티의 위키백과 페이지를 이용해 지지 문장을 검색하여 텍스트 증거로 활용한다.
• 후보 답변을 어휘적 및 의미적 일치도를 기반으로 증거 문장과 비교하여 잘못된 후보를 걸러낸다.
• 문법 기반 패턴을 사용해 복잡한 질의를 하위 질문으로 분해함으로써 단일 관계 및 다중 관계 질문을 모두 처리할 수 있도록 파이프라인을 설계한다.

실험 결과

연구 질문

• RQ1 위키백과의 텍스트 증거는 복잡하고 구성적인 질문에 대해 Freebase 기반 관계 추출 기반 질문 응답의 정확도를 향상시키는가?
• RQ2 문법 인식 신경망을 사용한 공동 엔티티 연결 및 관계 추출 모델은 데이터가 적은 환경에서 얼마나 효과적인가?
• RQ3 비구조화된 텍스트 증거를 통합할 경우, 관계 추출의 표현력 부족으로 인한 오류가 어느 정도 감소하는가?
• RQ4 먼저 구조화된 지식 기반을, 그 다음 비구조화된 텍스트를 활용하는 두 단계 추론 파이프라인은 종단 간 의미 분석이나 순수 지식 기반 방법보다 우월한가?
• RQ5 예를 들어 '어머니'는 부모이자 성별 제약를 암시하므로, 이러한 하위어소성 질문을 처리하는 데 이 방법은 어떻게 대응하는가?

주요 결과

• 제안된 방법은 WebQuestions 벤치마크에서 F1 스코어 53.3%를 달성하여 이전 최고 성능 기준을 크게 상회한다.
• 위키백과 텍스트 증거의 통합은 '가장 높은' 또는 '어머니'와 같은 다중 제약 질문에서 오류를 크게 감소시켜 명시적 검증을 제공한다.
• MCCNN 기반 관계 추출기는 로지스틱 회귀 기반 모델보다 성능이 뛰어나며, 관계 추출 작업에서 새로운 맥락에 더 강건하다.
• 비구조화된 추론 없이도 이전 SOTA 모델보다 F1 점수로 7점 높게 성과를 내어 신경망 기반 관계 추출 컴포넌트의 강력함을 입증한다.
• 문법 기반 패턴을 사용해 질문을 분해하고 증거 문장을 통해 답변을 검증함으로써 두 단계 파이프라인이 구성 질문을 효과적으로 처리한다.
• 성별 및 가족 관계 역할 신호를 위키백과에서 활용함으로써, '여왕 이사벨라의 어머니가 누구였는가?'와 같은 다중 관계 또는 암묵적 제약 조건이 필요한 질문에서도 뛰어난 일반화 성능을 보인다.