[논문 리뷰] Fusing Context Into Knowledge Graph for Commonsense Reasoning.

Yichong Xu, Chenguang Zhu외 4명|arXiv (Cornell University)|2020. 12. 09.

Topic Modeling인용 수 14

한 줄 요약

이 논문은 사전에 학습된 언어 모델에 위키사전에서 추출한 외부 엔티티 설명을 통합하여 공감각 추론에서 지식 그래프 융합을 향상시키는 방법을 제안한다. 삼중항 외에도 문맥적 설명을 함께 제공함으로써 엔티티를 강화함으로써, 공감각QA에서 최신 기준 성능을 달성하였으며, 단일 모델 기준으로는 80.7%의 정확도, 앙상블 모델 기준으로는 83.3%의 정확도를 기록하였다.

ABSTRACT

Commonsense reasoning requires a model to make presumptions about world events via language understanding. Many methods couple pre-trained language models with knowledge graphs in order to combine the merits in language modeling and entity-based relational learning. However, although a knowledge graph contains rich structural information, it lacks the context to provide a more precise understanding of the concepts and relations. This creates a gap when fusing knowledge graphs into language modeling, especially in the scenario of insufficient paired text-knowledge data. In this paper, we propose to utilize external entity description to provide contextual information for graph entities. For the CommonsenseQA task, our model first extracts concepts from the question and choice, and then finds a related triple between these concepts. Next, it retrieves the descriptions of these concepts from Wiktionary and feed them as additional input to a pre-trained language model, together with the triple. The resulting model can attain much more effective commonsense reasoning capability, achieving state-of-the-art results in the CommonsenseQA dataset with an accuracy of 80.7% (single model) and 83.3% (ensemble model) on the official leaderboard.

연구 동기 및 목표

• 지식 그래프가 공감각 추론에 사용될 때 문맥 정보가 부족한 문제를 해결하기 위해.
• 사전에 학습된 언어 모델 내에서 텍스트적 맥락과 관계 지식 간의 일치를 향상시키기 위해.
• 외부 설명을 통한 엔티티 강화를 통해 자원이 제한된 텍스트-지식 쌍화 상황에서의 성능 격차를 줄이기 위해.
• 구조적 지식과 텍스트 기반 지식을 통합하여 공감각QA 벤치마크에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 공감각QA 데이터셋의 질문과 보기에서 핵심 개념을 추출한다.
• 추출된 개념들을 연결하는 관련 지식 그래프 삼중항을 식별한다.
• 각 개념 엔티티에 대해 위키사전에서 설명 텍스트를 검색하여 문맥 정보를 제공한다.
• 지식 그래프 삼중항과 위키사전 엔티티 설명을 모두 사전에 학습된 언어 모델의 입력으로 제공한다.
• 구조적 지식과 텍스트 기반 지식을 함께 사용하여 공감각 추론을 최적화하기 위해 언어 모델을 종합적으로 미세조정한다.
• 앙상블 추론을 사용하여 공감각QA 랭킹에서 예측 정확도를 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 외부 엔티티 설명은 공감각 추론에서 지식 그래프 엔티티의 맥락 이해를 향상시키는가?
• RQ2 위키사전 기반 설명을 통합할 경우 공감각QA 벤치마크에서 성능에 어떤 영향을 미치는가?
• RQ3 자원이 제한된 텍스트-지식 쌍화 조건 하에서 제안된 방법이 기존 지식 그래프 융합 기법보다 우월한가?
• RQ4 단순한 관계 삼중항 외에 서술적 텍스트 통합이 추론 능력에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 공감각QA 테스트 세트에서 단일 모델 기준 80.7%의 정확도를 달성하여 새로운 최신 기준 성능을 수립하였다.
• 앙상블 모델은 83.3%의 정확도를 기록하여 단일 모델 대비 성능을 더욱 향상시켰다.
• 위키사전 기반 설명 통합은 모델의 공감각 개념에 대한 추론 능력을 크게 향상시켰다.
• 문맥적 강화 덕분에 텍스트-지식 데이터 쌍이 제한된 상황에서도 모델의 강건성이 향상되었다.
• 이 방법은 공감각 추론에서 구조적 지식와 문맥 기반 언어 이해 간 격차를 효과적으로 줄였다.
• 결과는 외부 설명이 NLP 과제에서 지식 그래프 엔티티의 유용한 맥락 정보 소스가 될 수 있음을 확인시켰다.