[논문 리뷰] COMET: Commonsense Transformers for Automatic Knowledge Graph Construction

Antoine Bosselut, Hannah Rashkin외 4명|arXiv (Cornell University)|2019. 06. 12.

Topic Modeling참고 문헌 33인용 수 22

한 줄 요약

COMET (Commonsense Transformers)는 대규모 사전 훈련된 언어 모델을 미세조정하여 새로운 고품질의 공지 지식 튜플을 생성하는 생성 기반 접근법을 제안한다. 이는 Atomic에서 상위 1개 기준으로 77.5%의 정밀도와 ConceptNet에서 91.7%의 정밀도를 기록하여 생성 모델이 인간이 평가한 고품질의 공지 지식을 인간이 정제한 자원과 유사한 수준으로 생성할 수 있음을 보여준다.

ABSTRACT

We present the first comprehensive study on automatic knowledge base construction for two prevalent commonsense knowledge graphs: ATOMIC (Sap et al., 2019) and ConceptNet (Speer et al., 2017). Contrary to many conventional KBs that store knowledge with canonical templates, commonsense KBs only store loosely structured open-text descriptions of knowledge. We posit that an important step toward automatic commonsense completion is the development of generative models of commonsense knowledge, and propose COMmonsEnse Transformers (COMET) that learn to generate rich and diverse commonsense descriptions in natural language. Despite the challenges of commonsense modeling, our investigation reveals promising results when implicit knowledge from deep pre-trained language models is transferred to generate explicit knowledge in commonsense knowledge graphs. Empirical results demonstrate that COMET is able to generate novel knowledge that humans rate as high quality, with up to 77.5% (ATOMIC) and 91.7% (ConceptNet) precision at top 1, which approaches human performance for these resources. Our findings suggest that using generative commonsense models for automatic commonsense KB completion could soon be a plausible alternative to extractive methods.

연구 동기 및 목표

• 추출 기반 방법을 넘어서는 자동 공지 지식 기반 구축을 위한 생성 기반 프레임워크 개발
• 사전 훈련된 언어 모델이 새로운 다양하고 고품질의 공지 튜플을 생성하도록 적응시킬 수 있는지 조사
• Atomic과 ConceptNet이라는 두 주요 공지 지식 기반에서 생성된 지식의 품질, 신규성, 다양성 평가
• 효율적인 지식 생성을 위해 필요한 시드 튜플 수의 측면에서 방법의 효율성 연구
• 기존 추출 기반 지식 기반 보완으로서 생성 모델을 사용할 수 있는지의 타당성 탐색

제안 방법

• 기존 공지 지식 기반(Atomic 및 ConceptNet)의 시드 튜플을 기반으로 사전 훈련된 트랜스포머 언어 모델을 미세조정하여 주어진 주어와 관계 입력에 대해 목적어 구문을 생성하도록 설정
• 모델이 주어(s)와 관계(r)를 입력으로 받아 목적어(o)를 예측하는 순서-순서 생성 설정을 사용
• 대규모 사전 훈련된 모델(예: GPT 스타일)의 깊이 있는 문맥 표현을 활용하여 풍부한 의미적 및 공지 지식을 포착
• 미세조정 중에 마스크된 언어 모델링 목적을 적용하여 모델의 공지 관계 이해력을 유지하고 적응화
• 자동 평가 및 인간 평가를 통해 생성된 튜플의 품질과 신규성을 평가하고 훈련 데이터와 비교
• 두 가지 서로 다른 공지 지식 기반(Atomic: 이벤트 기반, ConceptNet: 관계 기반)에서 훈련 및 평가하여 교차 도메인 분석 가능

실험 결과

연구 질문

• RQ1 미세조정된 생성 기반 언어 모델은 훈련 데이터에 존재하지 않는 새로운 고품질의 공지 튜플을 생성할 수 있는가?
• RQ2 정밀도 및 생성 지식의 품질 측면에서 생성 모델의 성능은 추출 기반 방법과 비교해 어떻게 되는가?
• RQ3 기존 지식 기반에서 소수의 시드 튜플만으로도 다양한 공지 지식으로 일반화할 수 있는 모델을 훈련시킬 수 있는가?
• RQ4 모델은 의미적으로 일관되고 인간 평가자에 의해 타당하다고 평가되는 지식을 생성할 수 있는가?
• RQ5 기존 추출 기반 지식 기반 구축의 스케일러블한 대안으로 생성 모델을 사용하는 것이 가능한가?

주요 결과

• COMET는 Atomic 지식 기반에서 생성된 튜플에 대해 상위 1개 기준으로 77.5%의 정밀도를 기록하여 인간이 주석 처리한 지식과 강한 일치를 보였다.
• ConceptNet에서는 상위 1개 기준으로 91.7%의 정밀도를 기록하여 공지 관계의 고품질 생성 능력을 입증했다.
• 인간 평가를 통해 생성된 튜플의 다수는 타당하고 정확하다고 평가되어 강력한 사실 일관성을 보였다.
• 모델는 훈련 세트에 존재하지 않는 새로운 지식을 생성하였으며, 다양한 주어-관계 쌍 간에 높은 다양성과 일관성을 유지했다.
• 제한된 수의 시드 튜플로도 효과적인 성능 유지를 보여, 스케일러블성과 낮은 데이터 의존도를 시사했다.
• 텍스트에 명시적으로 기록되지 않은 암묵적인 공지 지식을 추출 기반 방법보다 더 잘 포착하는 데 성공했다.