[논문 리뷰] Learning Contextualized Knowledge Structures for Commonsense Reasoning

Jun Yan, Mrigank Raman외 7명|arXiv (Cornell University)|2020. 10. 24.

Advanced Graph Neural Networks참고 문헌 54인용 수 4

한 줄 요약

이 논문은 통합된 그래프 구조 내에서 추출된 사실과 생성된 일반 지식 사실을 동시에 추론하는 지식 그래프 보강 모델인 하이브리드 그래프 네트워크(HGN)를 제안한다. 엣지 재가중 및 맥락과 관련 없는 엣지를 필터링함으로써 HGN은 네 가지 일반 지식 추론 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, CommonsenseQA 및 OpenbookQA 래더보드에서 1위를 기록했고, 인간 평가를 통해 엣지의 타당성과 유용성이 향상됨을 확인하였다.

ABSTRACT

Recently, knowledge graph (KG) augmented models have achieved noteworthy success on various commonsense reasoning tasks. However, KG edge (fact) sparsity and noisy edge extraction/generation often hinder models from obtaining useful knowledge to reason over. To address these issues, we propose a new KG-augmented model: Hybrid Graph Network (HGN). Unlike prior methods, HGN learns to jointly contextualize extracted and generated knowledge by reasoning over both within a unified graph structure. Given the task input context and an extracted KG subgraph, HGN is trained to generate embeddings for the subgraph's missing edges to form a "hybrid" graph, then reason over the hybrid graph while filtering out context-irrelevant edges. We demonstrate HGN's effectiveness through considerable performance gains across four commonsense reasoning benchmarks, plus a user study on edge validness and helpfulness.

연구 동기 및 목표

• 일반 지식 추론 작업에서 희박하고 노이즈가 많은 지식 그래프 엣지의 한계를 해결하기 위해.
• 추출된 사실과 생성된 사실 지식 사실을 동시에 맥락화함으로써 모델 성능을 향상시키기 위해.
• 정적 히ュ리스틱 지식 그래프 서브그래프에 의존하는 것을 줄이기 위해, 동적이고 맥락 인식 엣지 표현을 학습하기 위해.
• 맥락과 관련 없는 사실을 필터링하는 엣지 재가중을 통해 추론 품질을 향상시키기 위해.
• 하이브리드 지식 구조가 단순히 추출된 것보다 더 타당하고 도움이 되는 엣지를 제공하는지 검증하기 위해.

제안 방법

• HGN은 작업에 특화된 지식 그래프 서브그래프(추출된 것)와 PLM가 생성한 엣지를 결합하여 하이브리드 그래프를 구성한다.
• 서브그래프의 누락된 엣지에 대한 엣지 임베딩을 학습하여 통합된 '하이브리드' 그래프 구조를 형성한다.
• 맥락과 관련 없는 엣지를 낮게 평가하기 위해 엣지 재가중을 적용하며, 노드, 엣지, 텍스트 특징에 대한 어텐션을 통해 가중치를 학습한다.
• 메시지 전파를 엣지 가중치를 고려하여 수행함으로써 추론 과정에서 노이즈 또는 관련 없는 엣지의 영향을 줄인다.
• 그래프 및 텍스트 인코더를 동시에 업데이트하기 위해 엔드 투 엔드로 훈련되며, 예측을 위한 점수 함수가 존재한다.
• 소프트 프루닝은 훈련 중에 낮은 가중치를 가진 엣지의 비율을 나타내는 '프루닝 비율' 메트릭으로 측정된다.

실험 결과

연구 질문

• RQ1 추출된 지식과 생성된 지식을 동시에 추론함으로써 일반 지식 추론 성능을 향상시킬 수 있는가?
• RQ2 하이브리드 그래프 구조에서 엣지 재가중이 관련 없는 또는 노이즈가 많은 사실을 더 잘 필터링하는가?
• RQ3 HGN이 생성한 엣지는 히ュ리스틱 추출 방법에 비해 더 타당하고 도움이 되는가?
• RQ4 HGN은 추출된 사실과 생성된 사실을 별도로 처리하거나 후기 융합하는 방법과 비교해 어떻게 성능을 냈는가?
• RQ5 HGN은 개선된 강건성으로 다양한 일반 지식 추론 벤치마크에 일반화될 수 있는가?

주요 결과

• HGN은 네 가지 일반 지식 추론 벤치마크에서 최신 기술 수준의 성능을 달성하여 모든 기준 모델을 압도하였다.
• HGN은 비교 가능한 방법들 중에서 CommonsenseQA 래더보드와 OpenbookQA 래더보드에서 모두 1위를 기록하였다.
• 인간 평가 결과, HGN가 필터링한 엣지는 히ュ리스틱적으로 추출된 엣지보다 타당성과 유용성에서 유의미하게 높은 평가를 받았다.
• 프루닝 비율 메트릭은 HGN가 훈련 중에 상당 부분의 관련 없는 엣지를 효과적으로 소프트 프루닝함을 시사한다.
• 0.51(타당성) 및 0.36(유용성)의 Fleiss’ Kappa 점수는 엣지 품질에 대한 평가자 간 중간 수준에서의 일致도를 확인한다.
• HGN가 정제한 그래프는 원래 추출된 그래프에 비해 더 많은 타당한 엣지를 포함하고 있으며, 유용한 사실로 더 빽빽하게 구성되어 있다.