[논문 리뷰] Question answering via integer programming over semi-structured knowledge

Daniel Khashabi, Tushar Khot외 4명|arXiv (Cornell University)|2016. 07. 09.

Topic Modeling참고 문헌 33인용 수 22

한 줄 요약

이 논문은 다단계의 구조적 추론을 수행할 수 있도록 반구조화된 지식 기반을 활용하는 정수선형계획법(ILP) 프레임워크를 제안한다. 기존의 마르코프 논리 네트워크를 사용한 구조적 방법보다 14% 향상되었고, 이전의 ILP 설정보다 17.7% 향상되었으며, 비구조적 방법과 결합했을 때 더욱 뛰어난 강건성과 성능을 보여주었다.

ABSTRACT

Answering science questions posed in natural language is an important AI challenge. Answering such questions often requires non-trivial inference and knowledge that goes beyond factoid retrieval. Yet, most systems for this task are based on relatively shallow Information Retrieval (IR) and statistical correlation techniques operating on large unstructured corpora. We propose a structured inference system for this task, formulated as an Integer Linear Program (ILP), that answers natural language questions using a semi-structured knowledge base derived from text, including questions requiring multi-step inference and a combination of multiple facts. On a dataset of real, unseen science questions, our system significantly outperforms (+14%) the best previous attempt at structured reasoning for this task, which used Markov Logic Networks (MLNs). It also improves upon a previous ILP formulation by 17.7%. When combined with unstructured inference methods, the ILP system significantly boosts overall performance (+10%). Finally, we show our approach is substantially more robust to a simple answer perturbation compared to statistical correlation methods.

연구 동기 및 목표

• 간단한 사실 검색을 초월한 복잡한 추론이 필요한 개방도 과학 질문 응답의 과제를 해결한다.
• 비구조적 텍스트에서 통계적 상관관계에 의존하는 기존 시스템의 한계를 극복한다.
• 반구조화된 지식 기반을 활용해 다수의 사실을 통합하고 다단계 추론을 수행할 수 있는 구조적 추론 접근법을 개발한다.
• 상관관계 기반 방법에 비해 답변의 변형에 더 강건한 성능을 확보한다.
• 구조적 ILP 추론과 비구조적 방법을 융합했을 때 성능 향상이 뚜렷하게 나타남을 입증한다.

제안 방법

• 질문 응답을 정수선형계획법(ILP)으로 공식화하여 반구조화된 지식 기반에서의 구조적 추론을 가능하게 한다.
• 텍스트에서 반구조화된 지식 기반을 구축하여 기계가 처리할 수 있는 관계형 형식으로 사실을 표현한다.
• 논리적 제약 조건과 추론 규칙을 ILP 공식화 내 선형 제약 조건으로 인코딩하여 다단계 추론을 모델링한다.
• 기존의 사실과 질문 제약 조건과의 일관성을 최대화함으로써 최적의 답변을 ILP 솔버를 통해 도출한다.
• 비구조적 추론 모델(예: 신경망)과 ILP 시스템을 통합하여 구조적 추론과 통계적 패tern 매칭을 결합한다.
• 답변 공간의 소규모 변형에 대한 테스트를 적용하여 ILP 접근법의 강건성을 순수하게 통계 기반 모델과 비교한다.

실험 결과

연구 질문

• RQ1 ILP 기반 시스템은 마르코프 논리 네트워크와 같은 기존의 구조적 추론 방법보다 개방도 과학 질문 응답에서 더 뛰어난 성능을 보일 수 있는가?
• RQ2 제안된 ILP 설정은 동일한 작업에 대해 이전의 ILP 기반 접근법과 비교해 어떤 성능을 보이는가?
• RQ3 구조적 ILP 추론과 비구조적 추론 방법을 융합했을 때 전체 시스템 정확도는 어느 정도 향상되는가?
• RQ4 통계적 상관관계 기반 방법에 비해 ILP 시스템은 답변 공간의 소규모 변형에 얼마나 강건한가?
• RQ5 ILP 프레임워크는 다수의 사실을 통합해야 하는 다단계 추론 작업을 효과적으로 처리할 수 있는가?

주요 결과

• 제안된 ILP 시스템은 마르코프 논리 네트워크를 사용한 최고의 이전 구조적 추론 방법보다 14%p의 절대적 성능 향상을 달성했다.
• 이전의 ILP 설정보다 17.7% 향상되었으며, 이는 현재의 ILP 설계의 효과성을 입증한다.
• 비구조적 추론 방법과 융합했을 때 전체 성능이 10% 향상되었으며, 이는 구조적 접근과 통계적 접근 간 강력한 상호보완성을 보여준다.
• 통계적 상관관계 기반 방법에 비해 답변의 변형에 대해 훨씬 더 강건한 성능를 보이며, 더 높은 추론 정밀도를 나타낸다.
• 결과적으로 ILP를 통한 구조적 추론이 단순 검색을 초월한 복잡한 다정보 과학 질문에 대해 효과적임을 확인했다.