[논문 리뷰] Consolidating Commonsense Knowledge

Filip Ilievski, Pedro Szekely외 3명|arXiv (Cornell University)|2020. 06. 10.

Topic Modeling참고 문헌 38인용 수 9

한 줄 요약

이 논문은 표준화된 매핑을 사용하여 다섯 가지 다른 공통 지식 소스—ConceptNet, Wikidata, Visual Genome, ATOMIC, WordNet, Roget, FrameNet—을 통합하여 통합된 공통 지식 지식 그래프(CSKG)를 제안한다. 결과로 도출된 CSKG는 470만 개의 노드와 1720만 개의 에지로 구성되며, 개별 ConceptNet과 비교해 네 가지 공통 지식 QA 데이터셋에서 재현율이 2~4배 높아져 보다 풍부한 커버리지와 추론 유용성을 입증한다.

ABSTRACT

Commonsense reasoning is an important aspect of building robust AI systems and is receiving significant attention in the natural language understanding, computer vision, and knowledge graphs communities. At present, a number of valuable commonsense knowledge sources exist, with different foci, strengths, and weaknesses. In this paper, we list representative sources and their properties. Based on this survey, we propose principles and a representation model in order to consolidate them into a Common Sense Knowledge Graph (CSKG). We apply this approach to consolidate seven separate sources into a first integrated CSKG. We present statistics of CSKG, present initial investigations of its utility on four QA datasets, and list learned lessons.

연구 동기 및 목표

• 공통 지식의 분산 문제를 해결하기 위해 다수의 분리된 소스를 통합된 상호운용 가능한 지식 그래프로 통합하는 것.
• 기존 지식 소스들이 초점, 표현 방식, 커버리지 측면에서 다양하여 강력한 공통 지식 추론을 방해하는 문제를 해결하는 것.
• 이질적인 지식 소스들을 하나의 잘 연결된 그래프로 통합하기 위한 원칙적이고 모듈형이며 확장 가능한 프레임워크를 개발하는 것.
• 하위 작업으로서의 공통 지식 질문-답변 작업에서 통합된 그래프의 유용성을 평가하여 개별 소스보다 추가적인 가치를 제공하는지 입증하는 것.

제안 방법

• 통합을 위한 다섯 가지 핵심 원칙 설계: 단순성, 모듈성, 유용성, 고품질 링크 최대화, 자연어 접근성.
• 최소한의 에지 유형과 풍부한 노드 속성을 갖춘 성질 기반 그래프 모델 정의로 이질적인 표현 방식을 통합하는 것.
• 공통 식별자와 의미적 정렬을 사용한 소스 간 매핑 수립, 예를 들어 FrameNet 프레임을 ConceptNet 개념과 연결하고 Visual Genome 속성을 ConceptNet 관계와 연결하는 것.
• 등가 엔티티를 통합하기 위해 정규화 및 중복 제거 파이프라인 적용으로 재현을 줄이면서도 의미적 다양성은 유지하는 것.
• 규칙 기반 매핑과 인간의 참여를 통한 검증을 조합한 하이브리드 접근 방식을 통해 통합 그래프의 일관성과 품질을 확보하는 것.
• 그래프 임베딩 생성 및 네 가지 공통 지식 QA 벤치마크에서 CSKG 평가를 통해 추론 유용성을 측정하는 것.

실험 결과

연구 질문

• RQ1 다양한 이질적인 공통 지식 소스들을 체계적으로 하나의 일관된 지식 그래프로 통합하는 방법은 무엇인가?
• RQ2 개별 소스인 ConceptNet과 비교해 통합된 CSKG는 공통 지식 질문-답변 작업에서 검색 성능을 얼마나 향상시키는가?
• RQ3 어떤 초점(어휘적, 경험적, 시각적, 온톨로지 기반 등)을 가진 소스들 간의 지식 통합 과정에서 발생하는 주요 과제와 설계 원칙은 무엇인가?
• RQ4 CSKG의 연결성과 커버리지가 구성 소스들에 비해 어떻게 다른가? 추가적인 추론 능력 향상을 뒷받침할 증거는 무엇인가?
• RQ5 CSKG는 향후 인공지능 시스템이 깊이 있고 상황적 공통 지식 추론이 필요한 경우에 대해 강력하고 확장 가능한 지식 기반으로 기능할 수 있는가?

주요 결과

• CSKG는 다섯 가지 다른 소스에서 유래한 470만 개의 노드와 1720만 개의 에지를 통합하여 상호 연결성이 높은 그래프를 형성한다.
• CSKG는 ConceptNet 단독 사용 대비 네 가지 벤치마크 QA 데이터셋에서 관련 공통 지식 삼항관계의 재현율을 2~4배 높여 성능 향상을 입증한다.
• 통합 과정에서 엔티티 간의 매핑이 성공적으로 수행되었으며, 예를 들어 FrameNet 프레임을 ConceptNet 개념과 연결하고 Visual Genome 속성을 ConceptNet 관계와 연결한 바 있다.
• 그래프는 향상된 추론 능력을 보이며, 예를 들어 피아노 연주에는 앉아서 키를 만져야 한다는 등 여러 소스에서 정답을 뒷받침하는 추가 증거를 제공한다.
• 오류 분석 결과 기존 QA 시스템의 실패 원인 중 하나로 누락된 지식이 주요 원인임을 확인하였고, CSKG의 확장된 커버리지가 이 격차를 직접적으로 보완한다.
• CSKG는 CC BY-SA 4.0 라이선스 하에 공개되어 향후 연구에서 널리 재사용 및 확장이 가능하다.