[논문 리뷰] Commonsense Knowledge Graph Reasoning by Selection or Generation? Why?

Cunxiang Wang, Jinhang Wu외 2명|arXiv (Cornell University)|2020. 08. 13.

Topic Modeling참고 문헌 15인용 수 7

한 줄 요약

이 논문은 공공지식 지식 그래프 추론(CKGR)에서 생성 및 선택 방법을 비교하며, 더 나은 평가 가능성과 안정성, 더 적은 환각적 엔티티를 바탕으로 선택 방법이 우월하다는 것을 발견한다. 본 논문은 새로운 텍스트 인코더 강화 KGE 모델(TEE)을 제안하여 신경망 텍스트 인코더(CNN/BiLSTM)와 TransE 및 TuckER를 결합함으로써 미리보지 않은 엔티티와 풍부한 텍스트 입력을 처리하고, ConceptNet-100k와 ATOMIC에서 최신 기술 성능을 달성한다.

ABSTRACT

Commonsense knowledge graph reasoning(CKGR) is the task of predicting a missing entity given one existing and the relation in a commonsense knowledge graph (CKG). Existing methods can be classified into two categories generation method and selection method. Each method has its own advantage. We theoretically and empirically compare the two methods, finding the selection method is more suitable than the generation method in CKGR. Given the observation, we further combine the structure of neural Text Encoder and Knowledge Graph Embedding models to solve the selection method's two problems, achieving competitive results. We provide a basic framework and baseline model for subsequent CKGR tasks by selection methods.

연구 동기 및 목표

• 공개지식 지식 그래프 추론(CKGR)을 위한 생성 및 선택 방법 간의 경험적 및 이론적 비교를 수행한다.
• 선택 방법의 한계를 해결한다. 즉, 풍부한 텍스트 입력과 테스트 데이터의 새로운 엔티티를 처리하지 못하는 점을 개선한다.
• 신경망 텍스트 인코더와 지식 그래프 임bedding(KGE) 모델을 통합하는 통합 프레임워크를 개발한다.
• 선택 기반 CKGR 모델이 테스트 세트에서 새로운 엔티티를 처리할 수 있도록 한다. 이는 실세계 응용에서의 핵심 과제이다.
• 미리보지 않은 엔티티 지원 기능을 갖춘 미래의 선택 기반 CKGR 연구를 위한 새로운 기준 프레임워크를 수립한다.

제안 방법

• 신경망 텍스트 인코더(CNN, BiLSTM)를 표준 KGE 모델(TransE, TuckER)과 통합하여 엔티티 텍스트 시퀀스를 임베딩하는 Text Encoder-Enhanced KGE(TEE) 모델을 제안한다.
• 현재 훈련 엔티티만 고려하는 수정된 훈련 목표를 사용하여, 하위그래프 샘플링 없이 전체 그래프에서 엔드 투 엔드 훈련을 가능하게 한다.
• 소스 및 타겟 엔티티를 텍스트 시퀀스로 인코딩하기 위해 단어 수준 임베딩을 적용하여, 공유된 의미 표현을 통해 새로운 엔티티로의 일반화를 가능하게 한다.
• 각 훈련 사례에서 한 개의 양성 및 한 개의 음성 엔티티를 사용하는 대비 학습 목표를 적용하여, 올바른 엔티티와 잘못된 엔티티 간의 구분 능력을 향상시킨다.
• 텍스트 인코더 출력을 KGE 스코어링 함수에 통합하여, 구조적 정보와 의미적 정보를 기반으로 한 엔티티 순위 매기기를 가능하게 한다.
• 조기 정지와 학습률 스케줄링을 사용하여 훈련 효율성을 최적화하고, 특히 단문 텍스트 데이터셋에서 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 생성 방법은 진정으로 새로운 의미적 엔티티를 생성할 수 있는가, 아니면 기존 엔티티를 재구성할 뿐인가?
• RQ2 왜 선택 방법이 공공지식 지식 그래프 추론에 더 적합한가?
• RQ3 선택 기반 접근법은 테스트 데이터에서 새로운 엔티티를 효과적으로 처리할 수 있는가? 이는 표준 KGE 모델의 주요 한계이다.
• RQ4 신경망 텍스트 인코더를 통합함으로써 KGE 모델의 CKGR 작업 성능은 어떻게 향상되는가?
• RQ5 다양한 엔티티 길이를 가진 데이터셋에서 CNN과 BiLSTM의 성능에 미치는 영향은 무엇인가?

주요 결과

• 생성 방법은 진정으로 새로운 의미적 엔티티를 생성하지 못한다. COMET에서 생성된 엔티티의 96.4%는 훈련 데이터에 직접 존재하며, 나머지 3.58%는 의미적으로 유의미한 새로운 개념이 아니다.
• 선택 방법은 재현 가능성, 평가 가능성, 유해하거나 잘못된 출력 방지 측면에서 생성 방법보다 뛰어나다.
• 제안된 TEE 모델은 ConceptNet-100k와 ATOMIC 양쪽에서 표준 KGE 베이스라인을 크게 능가하며, 특히 테스트 시 새로운 엔티티로 인해 베이스라인이 실패하는 ATOMIC에서 뚜렷한 성능 향상을 보였다.
• ATOMIC에서 테스트 엔티티 단어의 86%가 훈련 세트에 존재하여, TEE 모델이 새로운 엔티티가 있음에도 불구하고 일반화할 수 있었다.
• BiLSTM는 엔티티 텍스트가 더 긴 ATOMIC(4.41단어 대비 1.72단어)에서 CNN보다 성능이 뛰어나지만, 단문 텍스트인 ConceptNet-100k에서는 CNN이 BiLSTM를 능가하여 입력 길이에 따라 모델 선택이 달라져야 한다는 점을 시사한다.
• ConceptNet-100k에서 TEE(CNN+TuckER)는 모든 지표에서 베이스라인 TuckER를 능가하지만, TEE(BiLSTM+TuckER)는 성능이 열 劣하므로 짧은 엔티티에서 과적합이 발생한 것으로 보인다.