[논문 리뷰] Improving Question Answering with External Knowledge

Xiaoman Pan, Kai Sun외 5명|arXiv (Cornell University)|2019. 02. 03.

Topic Modeling참고 문헌 54인용 수 30

한 줄 요약

이 논문은 사전에 트레이닝된 BERT 모델에 구조화되지 않은 외부 지식(위키백과)과 추가 도메인 내 훈련 데이터를 통합하여 다중 선택 과학 질문 응답을 향상시키는 방법을 제안한다. 모호한 개념에 대해 위키백과 스니펫을 참조 문서에 추가하고 훈련 데이터를 증강함으로써, ARC-Challenge에서 최대 13.0%의 정확도 향상과 OpenBookQA에서 12.8%의 성능 향상을 달성하였다. 이는 구조화되지 않은 지식이 전문 분야 질문 응답에서 핵심적인 역할을 한다는 것을 보여준다.

ABSTRACT

We focus on multiple-choice question answering (QA) tasks in subject areas such as science, where we require both broad background knowledge and the facts from the given subject-area reference corpus. In this work, we explore simple yet effective methods for exploiting two sources of external knowledge for subject-area QA. The first enriches the original subject-area reference corpus with relevant text snippets extracted from an open-domain resource (i.e., Wikipedia) that cover potentially ambiguous concepts in the question and answer options. As in other QA research, the second method simply increases the amount of training data by appending additional in-domain subject-area instances. Experiments on three challenging multiple-choice science QA tasks (i.e., ARC-Easy, ARC-Challenge, and OpenBookQA) demonstrate the effectiveness of our methods: in comparison to the previous state-of-the-art, we obtain absolute gains in accuracy of up to 8.1%, 13.0%, and 12.8%, respectively. While we observe consistent gains when we introduce knowledge from Wikipedia, we find that employing additional QA training instances is not uniformly helpful: performance degrades when the added instances exhibit a higher level of difficulty than the original training data. As one of the first studies on exploiting unstructured external knowledge for subject-area QA, we hope our methods, observations, and discussion of the exposed limitations may shed light on further developments in the area.

연구 동기 및 목표

• 도메인 특화 지식과 광범위한 배경 지식이 필요로 하는 다중 선택 과학 질문 응답(TASK)을 향상시키기 위해.
• 사전에 트레이닝된 언어 모델에 구조화되지 않은 외부 지식(특히 위키백과에서의 지식)을 통합하는 것이 전문 분야 질문 응답에 얼마나 효과적인지 조사하기 위해.
• 특히 어려움 수준이 다양할 경우, 추가 도메인 내 질문 응답 예제를 통해 훈련 데이터를 증가시키는 것이 성능 향상에 기여하는지 평가하기 위해.
• 추가된 예제가 원래 훈련 데이터보다 더 복잡할 경우 데이터 증강 전략의 한계를 규명하기 위해.
• 실증 결과와 관찰된 제약 조건을 분석하여 향후 전문 분야 질문 응답에서 외부 지식 통합에 대한 연구 기반을 마련하기 위해.

제안 방법

• 명시적 실체 인식과 개념 연결을 통해 질문과 선택지 내 모호한 개념을 식별한다.
• 밀도 기반 검색 또는 키워드 기반 검색을 사용하여 각 식별된 개념에 대해 관련 위키백과 스니펫을 검색한다.
• 각 (질문, 선택지) 쌍에 대해 검색된 위키백과 스니펫을 추가하여 원본 전문 분야 참조 문서를 확장한다.
• 각 입력이 질문, 후보 답변, 그리고 풍부화된 문서를 포함하도록 훈련 데이터를 증강한 후, 사전에 트레이닝된 BERT 모델을 미세 조정한다.
• 다른 과학 질문 응답 데이터셋(예: RACE, SQuAD)에서 유래한 추가 도메인 내 질문 응답 예제를 훈련 세트에 추가하여 데이터 다양성을 높인다.
• 두 단계의 미세 조정 전략을 적용한다: 먼저 대규모 MRC 데이터셋(예: RACE)에서 사전 학습을 수행하고, 이후 외부 지식을 통합한 목표 전문 분야 질문 응답 작업에서 미세 조정한다.

실험 결과

연구 질문

• RQ1 모호한 개념에 대해 위키백과 스니펫을 참조 문서에 통합함으로써 과학 질문 응답 성능 향상이 가능할까?
• RQ2 데이터 증강을 통해 도메인 내 훈련 데이터 양을 늘임으로써 일반화 능력과 정확도 향상이 이루어질까?
• RQ3 추가된 도메인 내 훈련 예제의 어려움 수준이 모델 성능에 어떤 영향을 미칠까?
• RQ4 구조화된 지식 기반보다 위키백과에서 유래한 비구조화된 외부 지식이 과학 질문 응답 향상에 더 효과적인가?
• RQ5 추가 데이터가 원래 훈련 분포보다 훨씬 어려운 경우, 데이터 증강의 한계는 무엇인가?

주요 결과

• 이전 최고 성능 대비 ARC-Easy에서 8.1%의 절대 정확도 향상, ARC-Challenge에서 13.0%, OpenBookQA에서 12.8%의 성능 향상을 달성하였다.
• 위키백과에서 유래한 지식을 통합함으로써 세 가지 벤치마크 전반에서 일관된 성능 향상이 이루어졌으며, 비구조화된 외부 지식의 가치를 입증하였다.
• 추가된 도메인 내 훈련 예제가 원래 훈련 데이터보다 더 어려운 경우 성능 저하가 발생하여, 데이터 품질과 곤도 일치의 중요성을 시사하였다.
• RACE에서의 사전 미세 조정을 생략했을 경우 모델의 성능이 크게 떨어졌으며, 이는 대규모 MRC 데이터에서의 사전 학습이 중요하다는 점을 강조하였다.
• 이 연구는 사전에 트레이닝된 언어 모델에 비구조화된 위키백과 지식을 성공적으로 통합한 최초의 연구 중 하나이며, 새로운 기준을 설정하였다.
• 결과적으로 향후 향상은 구조화된 지식과 비구조화된 외부 지식 소스를 함께 활용하는 데 초점을 맞춰야 할 것임을 시사한다.