[논문 리뷰] KagNet: Knowledge-Aware Graph Networks for Commonsense Reasoning

Bill Yuchen Lin, Xinyue Chen외 2명|arXiv (Cornell University)|2019. 09. 04.

Topic Modeling참고 문헌 36인용 수 32

한 줄 요약

KagNet은 QA 쌍을 외부 지식 그래프(ConceptNet)에 근거를 두고, 스키마 그래프를 GCN-LSTM-HPA 모듈로 인코딩하며, 해석 가능한 경로 및 개념 수준의 어텐션을 제공함으로써 CommonsenseQA에서 최첨단 성능을 달성한다.

ABSTRACT

Commonsense reasoning aims to empower machines with the human ability to make presumptions about ordinary situations in our daily life. In this paper, we propose a textual inference framework for answering commonsense questions, which effectively utilizes external, structured commonsense knowledge graphs to perform explainable inferences. The framework first grounds a question-answer pair from the semantic space to the knowledge-based symbolic space as a schema graph, a related sub-graph of external knowledge graphs. It represents schema graphs with a novel knowledge-aware graph network module named KagNet, and finally scores answers with graph representations. Our model is based on graph convolutional networks and LSTMs, with a hierarchical path-based attention mechanism. The intermediate attention scores make it transparent and interpretable, which thus produce trustworthy inferences. Using ConceptNet as the only external resource for Bert-based models, we achieved state-of-the-art performance on the CommonsenseQA, a large-scale dataset for commonsense reasoning.

연구 동기 및 목표

• 외부 지식 그래프를 활용하여 명시적이고 설명 가능한 추론을 위한 기계적 상식 추론을 촉진하고 이를 가능하게 한다.

제안 방법

• 관련 지식을 나타내는 ConceptNet의 스키마 그래프에 QA 쌍을 근거화한다.
• 다중 호프(relational) 정보를 포착하기 위해 GCN-LSTM-HPA 아키텍처로 스키마 그래프를 인코딩한다.
• 가능성 점수를 매기기 위해 경로 및 개념 쌍의 가중치를 부여하는 계층적 경로 기반 어텐션 메커니즘을 사용한다.
• 스키마 그래프의 관계 표현을 언어 인코더 특징과 결합하여 신경 점수기로 타당성 점수를 계산한다.
• 지식 인식 상식 추론 연구를 가능하게 하기 위한 KagNet 구현의 오픈 소스화.

실험 결과

연구 질문

• RQ1 외부의 구조화된 지식 그래프가 상식 QA에서 성능과 해석가능성을 향상시킬 수 있는가?
• RQ2 그래프 기반 모듈이 질문-답변 개념 간의 관계 경로를 어떻게 효과적으로 모형화할 수 있는가?
• RQ3 QA 쌍을 지식 그래프에 근거시키고 계층적 주의를 적용하는 것이 투명한 추론과 더 높은 정확성을 가져오는가?
• RQ4 사전 학습된 언어 인코더와 함께 ConceptNet을 유일한 외부 자원으로 사용할 때 CommonsenseQA에 미치는 영향은 무엇인가?

주요 결과

• 공식 분할을 사용할 때 지식 비의존 baselines 및 많은 지식 인식 baselines과 비교하여 CommonsenseQA에서 최첨단 성능을 달성한다.
• KagNet은 낮은 데이터 설정을 포함한 다양한 데이터 체제에서 비-KagNet 언어 베이스라인보다 향상된 정확도를 제공한다.
• 적소 연구는 제안된 GCN-LSTM-HPA 아키텍처가 전통적 관계형 GCN을 능가하고 경로 및 QA 쌍 수준의 어텐션이 성능을 향상시킨다고 보여준다.
• ConceptNet으로의 근거화와 KG 임베딩을 통한 경로 가지치기는 정보를 보존하면서 노이즈를 효과적으로 감소시킨다.
• 계층적 어텐션은 해석 가능한 중간 점수를 산출하여 영향력 있는 개념 쌍과 경로를 검사할 수 있게 한다.