[논문 리뷰] Open Relation Modeling: Learning to Define Relations between Entities

Jie Huang, Kevin Chen–Chuan Chang외 2명|arXiv (Cornell University)|2021. 08. 20.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 지식 그래프에서 직접 연결되어 있지 않은 엔티티 간의 일반적인 관계를 기술하는 일관되고 해석 가능한 문장을 생성하는 새로운 작업인 오픈 리レーション 모델링을 소개한다. 사전 훈련된 언어 모델(PLM)을 엔티티 쌍에 조건부로 정의 유사 기술을 생성하도록 피지테이닝하고, 지식 그래프에서 유래한 다단계 추론 경로를 신뢰도 기반 선택 기반으로 통합함으로써, 모델는 간결하고 정보가 풍부하며 인간이 이해할 수 있는 관계 기술을 생성한다. 이는 기존의 관계 추출 방법에 비해 해석 가능성에서 뚜렷한 향상을 이룬다.

ABSTRACT

Relations between entities can be represented by different instances, e.g., a sentence containing both entities or a fact in a Knowledge Graph (KG). However, these instances may not well capture the general relations between entities, may be difficult to understand by humans, even may not be found due to the incompleteness of the knowledge source. In this paper, we introduce the Open Relation Modeling problem - given two entities, generate a coherent sentence describing the relation between them. To solve this problem, we propose to teach machines to generate definition-like relation descriptions by letting them learn from defining entities. Specifically, we fine-tune Pre-trained Language Models (PLMs) to produce definitions conditioned on extracted entity pairs. To help PLMs reason between entities and provide additional relational knowledge to PLMs for open relation modeling, we incorporate reasoning paths in KGs and include a reasoning path selection mechanism. Experimental results show that our model can generate concise but informative relation descriptions that capture the representative characteristics of entities.

연구 동기 및 목표

• 엔티티 간에 해석 가능한 일반적인 관계 기술이 부족한 문제, 특히 텍스트에서 공시되지 않거나 지식 그래프에서 연결되어 있지 않은 경우를 해결하기 위해.
• 사전에 정의된 관계 유형이 필요 없이 인간이 읽을 수 있고 정보가 풍부한 관계 기술을 생성하는 방법을 개발하기 위해.
• 엔티티 정의와 추론 경로를 학습시켜 PLM이 일반화된 관계 패턴을 학습함으로써 관계 모델링의 해석 가능성과 개방성을 향상시키기 위해.
• 기존 지식 그래프의 직접적 사실을 초월해 다단계 및 암시적 관계를 모델링할 수 있도록 하기 위해.

제안 방법

• 추출된 엔티티 쌍에 조건부로 정의 유사 기술을 생성하도록 사전 훈련된 언어 모델(PLM)을 피지테이닝한다.
• 텍스트에서 엔티티 정의를 수집하고, 이러한 정의에서 엔티티 쌍을 추출하여 훈련을 위한 지도 신호를 생성한다.
• 지식 그래프에서 유래한 다단계 추론 경로를 통합하여 관계 지식을 제공하고 PLM이 엔티티 간의 추론 능력을 향상시킨다.
• 유용하고 해석 가능한 경로를 선별하고 우선순위를 정하기 위해 신뢰도 기반의 추론 경로 선택 메커니즘을 설계한다.
• 엔티티 쌍의 대표적 특성을 반영한 간결하고 맥락에 맞는 관계 기술을 생성하도록 모델를 종합적으로 훈련한다.
• 사전 훈련된 모델 지식, 엔티티 정의, 외부 추론 경로를 활용하여 생성된 기술의 정보성과 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전에 정의된 관계 유형이 없이도 사전 훈련된 언어 모델이 일관되고 정의 유사한 관계 기술을 효과적으로 생성할 수 있는가?
• RQ2 지식 그래프의 추론 경로를 어떻게 효과적으로 PLM에 통합하여 생성된 관계 기술의 품질과 정보성 향상을 이룰 수 있는가?
• RQ3 신뢰도 기반 경로 선택 메커니즘이 오픈 리레이션 모델링에서 사용되는 추론 경로의 해석 가능성과 관련성 향상에 기여하는가?
• RQ4 지식 그래프에서 직접 연결되어 있지 않거나 코퍼스에서 공시되지 않은 엔티티 쌍에 대해 모델이 얼마나 의미 있는 기술을 생성할 수 있는가?
• RQ5 기존의 관계 추출 또는 텍스트-텍스트 생성 방법에 비해 제안된 방법은 암시적 또는 다단계 관계의 해석 가능성과 커버리지 측면에서 어떻게 비교되는가?

주요 결과

• 모델는 엔티티 쌍의 대표적 특성을 효과적으로 반영하는 간결하고 정보가 풍부한 관계 기술을 생성하여, 기존의 전통적 관계 추출 방법에 비해 해석 가능성에서 뚜렷한 향상을 이룬다.
• 지식 그래프에서 유래한 추론 경로를 통합함으로써 모델는 정확하고 맥락에 맞는 기술 생성 능력이 향상되며, 특히 다단계 또는 암시적 관계에 대해 유의미한 향상을 보인다.
• 신뢰도 기반 추론 경로 선택 메커니즘이 정보가 풍부하고 해석 가능한 경로를 효과적으로 선별하고 우선순위를 정함으로써 생성된 기술의 품질을 향상시켰다.
• 모델는 지식 그래프에서 직접 연결되어 있지 않은 엔티티 쌍에 대해서도 잘 작동하여, 이전에 알려지지 않았거나 불완전한 관계에 대해 개방적인 모델링 능력을 보였다.
• 엔티티 정의에 기반한 PLM의 피지테이닝은 일반적인 관계 패턴을 학습시켜, 제로샷 또는 프롬프트 기반 생성에 비해 더 일관되고 의미가 풍부한 기술을 생성하도록 한다.
• 정성적 결과는 생성된 기술이 인간이 이해할 수 있으며, 엔티티 간 관계의 핵심 요소를 잘 반영하고 있음을 보여주며, 예를 들어 '데이터 마이닝은 대규모 데이터 세트에서 패턴을 추출하고 발견하는 과정이다...'라는 기술은 '데이터 마이닝'과 '데이터베이스' 간의 관계를 잘 묘사하고 있다.