[논문 리뷰] Open Information Extraction from Question-Answer Pairs

Nikita Bhutani, Yoshihiko Suhara외 3명|arXiv (Cornell University)|2019. 03. 01.

Topic Modeling참고 문헌 39인용 수 5

한 줄 요약

NeurON은 제약 조건이 있는 복수의 소스 시퀀스 토 시퀀스 모델을 사용하여 질문-답변(cQA) 쌍에서 구조화된 지식 튜플을 추출하는 새로운 엔드 투 엔드 시스템이다. 질문과 답변을 함께 인코딩하고 문법적 및 의미적 제약 조건을 강제함으로써 NeurON은 최신 문장 수준의 OpenIE 방법보다 추출 정확도에서 13.3% 상대적 향상을 이룩했으며, 지식 기반 확장에 있어 15–25% 더 많은 고유하고 유용한 사실을 발견하였다.

ABSTRACT

Open Information Extraction (OpenIE) extracts meaningful structured tuples from free-form text. Most previous work on OpenIE considers extracting data from one sentence at a time. We describe NeurON, a system for extracting tuples from question-answer pairs. Since real questions and answers often contain precisely the information that users care about, such information is particularly desirable to extend a knowledge base with. NeurON addresses several challenges. First, an answer text is often hard to understand without knowing the question, and second, relevant information can span multiple sentences. To address these, NeurON formulates extraction as a multi-source sequence-to-sequence learning task, wherein it combines distributed representations of a question and an answer to generate knowledge facts. We describe experiments on two real-world datasets that demonstrate that NeurON can find a significant number of new and interesting facts to extend a knowledge base compared to state-of-the-art OpenIE methods.

연구 동기 및 목표

• 기존 Open Information Extraction (OpenIE) 시스템이 단일 문장만 처리하는 한계를 해결하기 위해, 대화형 질문-답변(cQA) 쌍에서 구조화된 튜플을 추출하는 것.
• 의미가 관련 질문에 의존하는 답변의 맥락에 따라 달라지는 문제를 해결하기 위해 질문과 답변을 함께 모델링하는 것.
• 실제 cQA 데이터(예: 기존 지식 기반에 기록되지 않은 호텔 서비스 세부 정보 등)에서 정밀하고 도메인 관련성이 높은 사실을 수확하여 지식 기반(KB) 확장을 향상시키는 것.
• 정확하고 해석 가능한 튜플을 생성하기 위해 하드 제약 조건(구문, 범위 유효성)과 소프트 제약 조건(기존 KB 지식)을 통합하는 방법을 개발하는 것.
• 실제 cQA 데이터셋에서 시스템을 평가하고, 최신 OpenIE 모델들과 비교해 정밀도, 재현도 및 새로운 사실 탐지 능력에서의 우수성을 입증하는 것.

제안 방법

• NeurON은 질문과 답변을 별도로 인코딩하는 다중 인코더 및 제약 조건이 있는 디코더 아키텍처를 사용한다.
• 디코더는 인코딩된 표현을 컨텍스트로 사용하여 <arg1> entity </arg1> <rel> relation </rel> &lt{arg2> argument </arg2> 형식의 구조화된 튜플을 생성한다.
• 디코딩 중에 하드 제약 조건을 적용하여 출력 토큰이 입력 질문 또는 답변의 유효한 부분 범위여야 하며, 올바른 문법적 순서를 따라야 한다.
• 기존 지식 기반(KB)에서의 사전 지식을 사용하여 소프트 제약 조건을 적용함으로써, 목표 도메인과 관련성이 높은 출력 시퀀스를 우선순위로 매긴다.
• 어텐션 메커니즘을 사용하여 생성 과정에서 질문과 답변의 관련 부분에 집중하는 방식으로, 시퀀스 토 시퀀스 학습 목표에 따라 엔드 투 엔드로 모델을 훈련시킨다.
• 반복적인 지식 기반 확장이 가능하도록 프레임워크를 설계하여, 새로 추출된 튜플을 검증하고 이후 라운드에서 관련성 점수를 개선하는 데 활용한다.

실험 결과

연구 질문

• RQ1 다양한 소스의 시퀀스 토 시퀀스 모델이 논의 맥락을 함께 모델링함으로써 질문-답변 쌍에서 구조화된 튜플을 효과적으로 추출할 수 있는가?
• RQ2 예를 들어, 부분 범위 유효성 및 문법과 같은 하드 제약 조건을 통합할 경우, cQA 데이터에서 OpenIE의 정확도와 신뢰도는 어떻게 향상되는가?
• RQ3 기존 지식 기반에서 유도된 소프트 제약 조건은 추출된 튜플의 관련성과 품질을 어느 정도 향상시킬 수 있는가?
• RQ4 실제 cQA 데이터셋에서 NeurON은 최신 문장 수준의 OpenIE 시스템과 비교해 정밀도, 재현도 및 새로운 사실 탐지 측면에서 어떻게 성능을 냈는가?
• RQ5 NeurON은 인간이 참여하는 반복적 파이프라인에서 사용되어 실시간으로 고도로 정밀한 도메인 특화 사실로 지식 기반을 점진적으로 강화할 수 있는가?

주요 결과

• NeurON은 두 개의 실세계 cQA 데이터셋에서 최신 문장 기반 OpenIE 모델 대비 추출 정확도에서 최대 13.3% 상대적 향상을 달성하였다.
• 호텔 cQA 데이터셋에서 243개의 고유 튜플을 추출하였으며, 그 중 15–25%는 이전 OpenIE 시스템이 포착하지 못한 것으로 확인되어 사실 탐지의 높은 신규성과 효과를 입증하였다.
• 인간 평가에서 NeurON은 정밀도@5가 41.4%를 기록하였고, 200개의 QA 쌍 중 83.0%의 경우 적어도 하나의 관련 튜플을 성공적으로 추출하여 커버리지 측면에서 NeuralOpenIE를 능가하였다.
• 하드 제약 조건(구문 및 부분 범위 유효성)과 소프트 제약 조건(기존 KB에서 유도된 도메인 관련성)의 통합은 출력 품질을 크게 향상시키고 환영을 줄였다.
• NeurON은 다양한 cQA 데이터에서 높은 재현도와 정밀도를 보이며, 실세계 응용에서 반복적인 지식 기반 확장을 위한 적합성을 입증하였다.
• 사례 연구를 통해 NeurON이 인간이 참여하는 파이프라인에서 추출된 튜플을 검증하고 향후 추출을 개선하는 데 사용될 수 있음을 확인하였으며, 지속적인 지식 기반 강화를 가능하게 하였다.