[논문 리뷰] Commonsense Evidence Generation and Injection in Reading Comprehension

Ye Liu, Tao Yang외 3명|arXiv (Cornell University)|2020. 05. 11.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 독해 모델의 추론 능력을 향상시키기 위해 텍스트 및 사실 기반 공통 지식 증거를 생성하고 통합하는 CEGI 프레임워크를 제안한다. 언어 모델과 지식 그래프 보완 기법을 활용하고 캡슐 네트워크를 사용해 예측을 정교화함으로써, CEGI는 CosmosQA 랭킹에서 83.6%의 정확도를 달성하여 최신 기술보다 2% 높은 성능을 보였다.

ABSTRACT

Human tackle reading comprehension not only based on the given context itself but often rely on the commonsense beyond. To empower the machine with commonsense reasoning, in this paper, we propose a Commonsense Evidence Generation and Injection framework in reading comprehension, named CEGI. The framework injects two kinds of auxiliary commonsense evidence into comprehensive reading to equip the machine with the ability of rational thinking. Specifically, we build two evidence generators: the first generator aims to generate textual evidence via a language model; the other generator aims to extract factual evidence (automatically aligned text-triples) from a commonsense knowledge graph after graph completion. Those evidences incorporate contextual commonsense and serve as the additional inputs to the model. Thereafter, we propose a deep contextual encoder to extract semantic relationships among the paragraph, question, option, and evidence. Finally, we employ a capsule network to extract different linguistic units (word and phrase) from the relations, and dynamically predict the optimal option based on the extracted units. Experiments on the CosmosQA dataset demonstrate that the proposed CEGI model outperforms the current state-of-the-art approaches and achieves the accuracy (83.6%) on the leaderboard.

연구 동기 및 목표

• 사전 훈련된 모델이 명시적 맥락을 초월해 공통 지식 추론을 포괄하지 못하는 한계를 해결하기 위해.
• 외부의 해석 가능한 공통 지식 증거를 통합하여 다중 선택 독해 과제의 성능을 향상시키기 위해.
• 텍스트 및 사실 지식 소스를 공동으로 사용함으로써 모델 성능을 향상시키기 위해.
• 후보 선택지 간의 상호작용을 캡슐 네트워크를 통해 포착하는 추론 프레임워크를 개발하기 위해.
• 생성된 증거가 공통 지식 추론 과제에서 해석 가능성과 정확도를 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 텍스트 증거 생성기는 사전 훈련된 언어 모델을 사용해 공통 지식에 기반한 자연어 설명을 생성한다.
• 사실 증거 생성기는 지식 그래프 트리플(예: ConceptNet에서 유래)을 추출하고 보완하여 구조적이고 일치하는 사실을 생성한다.
• 텍스트 및 사실 증거가 모두 RoBERTa 기반의 문맥 인코더에 통합되어 단락, 질문, 선택지 및 증거의 표현을 풍부하게 한다.
• 합의 기반 라우팅을 사용하는 캡슐 네트워크가 언어 단위(단어 및 어구) 간의 관계를 동적으로 모델링하여 선택지 선택을 향상시킨다.
• 멀티헤드 어텐션 메커니즘을 사용해 단락, 질문, 선택지 및 증거 간의 표현을 정렬하고 매칭한다.
• 최종 예측은 다양한 언어 단위를 통해 계층적이고 동적 특징 집합을 기반으로 캡슐 네트워크에 의해 이루어진다.

실험 결과

연구 질문

• RQ1 생성된 텍스트 및 사실 기반 공통 지식 증거는 암묵적 추론이 요구되는 독해 과제에서 성능 향상에 기여하는가?
• RQ2 두 유형의 증거를 동시에 통합할 경우, 단일 소스를 사용하는 것과 비교해 모델 정확도에 어떤 영향을 미치는가?
• RQ3 캡슐 네트워크가 후보 선택지 간의 상호작용을 모델링함으로써 의사결정 과정을 얼마나 향상시키는가?
• RQ4 생성된 증거는 인간이 이해할 수 있고 모델 예측을 해석하는 데 유용한가?
• RQ5 CEGI 프레임워크는 CosmosQA를 초월한 다른 공통 지식 추론 벤치마크에 일반화 가능한가?

주요 결과

• CEGI는 CosmosQA 랭킹에서 83.6%의 정확도를 달성하여 이전 최신 기술인 K-Adapter를 2% 높게 성과했다.
• 텍스트 및 사실 증거 통합 조합이 가장 높은 성능(83.2% 정확도, CosmosQA 개발 세트 기준)을 기록했으며, 단일 소스 통합보다 뛰어난 성능을 보였다.
• 캡슐 네트워크를 사용한 모델은 이를 사용하지 않은 모델 대비 추론 정확도를 1.3% 향상시켜, 선택지 수준의 상호작용을 모델링하는 데 효과적임을 입증했다.
• 제거 실험 결과, 두 증거 생성기 모두 기여가 뚜렷했으며, 개별적으로 사용할 경우 각각 성능 향상이 이루어졌다.
• 생성된 증거는 인간이 이해할 수 있으며, 모델의 투명성과 신뢰도를 높이는 해석 가능한 추론 과정을 제공한다.