[논문 리뷰] On the Role of Conceptualization in Commonsense Knowledge Graph Construction

Mutian He, Yangqiu Song외 2명|arXiv (Cornell University)|2020. 03. 06.

Advanced Graph Neural Networks참고 문헌 38인용 수 7

한 줄 요약

이 논문은 실체를 더 넓은 개념의 인스턴스로 간주함으로써 공공지식 지식 그래프(CKG) 구축을 향상시키는 개념화(conceptualization)를 제안한다. 이는 새로운, 다양한, 고품질의 삼중항을 생성할 수 있도록 한다. 사전에 훈련된 언어 모델에 음성 샘플링을 적용해 미세조정한 구분자(discriminator)를 사용함으로써, 생성 방법보다 다양성과 신선도에서 뛰어난 성능을 보이며, 의미적으로 풍부한, 알려지지 않은 노드와 관계로 CKG를 효과적으로 확장한다.

ABSTRACT

Commonsense knowledge graphs (CKGs) like Atomic and ASER are substantially different from conventional KGs as they consist of much larger number of nodes formed by loosely-structured text, which, though, enables them to handle highly diverse queries in natural language related to commonsense, leads to unique challenges for automatic KG construction methods. Besides identifying relations absent from the KG between nodes, such methods are also expected to explore absent nodes represented by text, in which different real-world things, or entities, may appear. To deal with the innumerable entities involved with commonsense in the real world, we introduce to CKG construction methods conceptualization, i.e., to view entities mentioned in text as instances of specific concepts or vice versa. We build synthetic triples by conceptualization, and further formulate the task as triple classification, handled by a discriminatory model with knowledge transferred from pretrained language models and fine-tuned by negative sampling. Experiments demonstrate that our methods can effectively identify plausible triples and expand the KG by triples of both new nodes and edges of high diversity and novelty.

연구 동기 및 목표

• 기존의 생성 방법에서 낮은 다양성과 낮은 신선도 문제를 해결하기 위해.
• 공공지식 지식 그래프에 존재하는 수많은 실제 세계의 실체와 관계를 포괄하지 못하는 현재의 방법의 한계를 극복하기 위해.
• 실체를 더 넓은 개념의 인스턴스로 간주하는 개념화 방식이 CKG 확장의 확장성과 의미적 풍부함을 어떻게 향상시킬 수 있는지 탐색하기 위해.
• 사전에 훈련된 언어 모델에서 유래한 개념적 추상화와 의미 지식을 활용해 타당하고 새로운 삼중항을 생성하는 방법을 개발하기 위해.
• ASER나 Atomic과 같은 기존 CKG 외부에 존재하지 않는 노드와 관계를 포함해 다양하고 새로운 노드 및 관계를 생성하는 데서 개념화의 효과를 평가하기 위해.

제안 방법

• 이 방법은 텍스트에 언급된 실제 세계의 실체를 해당 개념에 매핑함으로써 개념화를 도입하여, 새로운 삼중항의 추상화 및 인스턴스화를 가능하게 한다.
• 이 작업을 삼중항 분류 문제로 설정하고, 생성된 삼중항의 타당성을 평가하기 위해 구분자 모델을 사용한다.
• 사전에 훈련된 언어 모델(BERT, GPT-2 등)의 지식으로 초기화하고, 음성 샘플링을 통해 유효한 삼중항과 유효하지 않은 삼중항을 구분할 수 있도록 미세조정한다.
• 합성 삼중항은 개념적 추상화를 통해 생성된다: 특정 실체를 그 개념적 대체물로 교체한 후, 새로운 실체로 다시 인스턴스화한다.
• 사전에 훈련된 모델이 제공하는 의미 유사도와 맥락 이해 능력을 활용해 생성된 삼중항이 의미적으로 일관되고 다양한지 보장한다.
• 구조적 단어 변형을 제거한 후에도 평가할 수 있도록 정규화된 지표(예: Dist-N-Norm, N/T N-Norm)를 사용해 다양성과 신선도를 평가한다.

실험 결과

연구 질문

• RQ1 개념화는 공공지식 지식 그래프 구축에서 생성된 삼중항의 다양성과 신선도를 향상시킬 수 있는가?
• RQ2 순수하게 생성 기반 방법과 비교할 때, 개념화 기반 삼중항 생성은 의미적 풍부함과 알려지지 않은 실체의 커버리지 측면에서 어떻게 다른가?
• RQ3 사전에 훈련된 언어 모델에 미세조정된 구분자 모델은 생성 히وري스틱에 의존하지 않고도 타당한 삼중항을 식별할 수 있는가?
• RQ4 개념화는 실체가 동의어로 표현되거나 의미적으로 유사할 경우 발생하는 중복을 줄이는가?
• RQ5 개념화를 통해 ASER나 Atomic과 같은 기존 CKG에 존재하지 않는 새로운 고품질의 간선과 노드를 발견할 수 있는가?

주요 결과

• 제안된 방법은 COMeT라는 선도적인 생성 모델보다 높은 Dist-1, Dist-2, Dist-N 지표를 통해 생성된 삼중항의 다양성과 신선도가 뚜렷이 향상됨을 입증한다.
• 구조적 단어 변형을 제거하기 위해 정규화한 후에도, 이 방법은 높은 다양성과 신선도를 유지하지만, COMeT의 성능은 급격히 떨어지며, 이는 어휘적 다형성(paraphrase diversity)이 감소했음을 시사한다.
• 신규 노드 비율(N/T N-Norm)과 독립적인 신규 노드 비율(N/U N-Norm)은 개념화 기반 방법에서 COMeT보다 상당히 높게 나타난다.
• 구분자 기반 접근법은 추상화된 개념적 형태에서 생성된 삼중항이라도 타당성을 효과적으로 식별하며, 정량적·정성적 평가에서 생성 기반 기준보다 뛰어난 성능을 보인다.
• 실험 결과, 개념화가 ASER와 같은 기존 CKG에 존재하지 않는 실체를 포함해 의미적으로 다양하고 새로운 노드 및 관계로 CKG를 확장하는 데 기여함을 보여준다.
• 이 방법은 Probase의 낮은 커버리지 실체를 다룰 때도 강건성을 보이며, 기존 CKG보다 더 높은 실체 커버리지와 노드당 독립적인 실체 표현을 향상시킨다.