[論文レビュー] Open Relation Modeling: Learning to Define Relations between Entities

Jie Huang, Kevin Chen–Chuan Chang+2 more|arXiv (Cornell University)|Aug 20, 2021

Topic Modeling被引用数 4

ひとこと要約

この論文では、知識グラフに直接接続されていないエンティティ間の一般化された関係を記述する一貫性があり解釈可能な文を生成する、新しいタスク「オープン関係モデリング」を紹介する。事前学習言語モデル（PLM）をエンティティペアに条件付けられた定義風記述を生成するように微調整し、知識グラフからのハイプスリーピング推論経路を信頼度ベースの選択メカニズムで統合することで、要約的で情報豊富かつ人間が理解可能な関係記述を生成する。従来の関係抽出手法と比較して、解釈可能性が著しく向上する。

ABSTRACT

Relations between entities can be represented by different instances, e.g., a sentence containing both entities or a fact in a Knowledge Graph (KG). However, these instances may not well capture the general relations between entities, may be difficult to understand by humans, even may not be found due to the incompleteness of the knowledge source. In this paper, we introduce the Open Relation Modeling problem - given two entities, generate a coherent sentence describing the relation between them. To solve this problem, we propose to teach machines to generate definition-like relation descriptions by letting them learn from defining entities. Specifically, we fine-tune Pre-trained Language Models (PLMs) to produce definitions conditioned on extracted entity pairs. To help PLMs reason between entities and provide additional relational knowledge to PLMs for open relation modeling, we incorporate reasoning paths in KGs and include a reasoning path selection mechanism. Experimental results show that our model can generate concise but informative relation descriptions that capture the representative characteristics of entities.

研究の動機と目的

• エンティティ間の解釈可能で一般的な関係記述の不足、特にテキストに共起しないか知識グラフで接続されていない場合の課題に対処すること。
• 事前に定義された関係タイプを必要とせず、人間が読みやすい情報豊富な関係記述を生成する方法を開発すること。
• エンティティの定義と推論経路から学習させることで、PLMが一般化された関係を学習し、関係モデリングの解釈可能性とオープン性を向上させること。
• 従来の知識グラフに記録された直接的事実を超えて、マルチホップおよび暗黙の関係をモデル化できること。

提案手法

• 抽出されたエンティティペアに条件付けられた定義風記述を生成するように、事前学習言語モデル（PLM）を微調整する。
• テキストからエンティティの定義を収集し、これらの定義からエンティティペアを抽出することで、学習のための教師信号を生成する。
• 知識グラフからのマルチホップ推論経路を統合し、関係的知識を提供し、エンティティ間のPLM推論能力を向上させる。
• 信頼度ベースの推論経路選択メカニズムを設計し、情報豊かで解釈可能な経路をフィルタリング・優先順位付けしてPLMの入力に供する。
• エンティティペアの代表的特徴を反映する、要約的で文脈的に正確な関係記述を生成するように、モデルをエンドツーエンドで訓練する。
• 事前学習モデルの知識、エンティティの定義、外部の推論経路を活用し、生成された記述の情報量と一貫性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された関係タイプを必要とせず、エンティティ間の整合的で定義風の関係記述を生成するために、事前学習言語モデルを効果的に微調整できるか？
• RQ2 知識グラフの推論経路をどのようにPLMに統合すれば、生成された関係記述の質と情報量を向上させられるか？
• RQ3 信頼度ベースの経路選択メカニズムは、オープン関係モデリングで使用される推論経路の解釈可能性と関連性を向上させることができるか？
• RQ4 知識グラフで直接接続されていない、またはコーパスで共起していないエンティティペアに対しても、モデルが意味のある記述を生成できる範囲はどの程度か？
• RQ5 従来の関係抽出やテキストtoテキスト生成アプローチと比較して、本手法は暗黙的またはマルチホップ関係のカバレッジと解釈可能性の面でどの程度優れているか？

主な発見

• モデルはエンティティペアの代表的特徴を的確に捉えた、要約的で情報豊富な関係記述を生成し、従来の関係抽出手法と比較して解釈可能性が著しく向上した。
• 知識グラフからの推論経路の統合により、特にマルチホップまたは暗黙の関係に対して、正確で文脈的に関連性のある記述を生成する能力が向上した。
• 信頼度ベースの推論経路選択メカニズムは、情報豊かで解釈可能な経路を効果的にフィルタリング・優先順位付けでき、生成された記述の品質を向上させた。
• 知識グラフで直接接続されていないエンティティペアに対しても、モデルは良好な性能を発揮し、未接続または不完全な関係に対してもオープンな対応が可能であることを示した。
• エンティティの定義に基づくPLMの微調整により、ゼロショットやプロンプトベース生成と比較して、より一貫性があり意味的に豊かな記述を生成できるようになった。
• 定性的な結果から、生成された記述は人間が理解可能であり、エンティティ間の関係の重要な側面を捉えていることが示された。例えば、'データマイニング'と'データベース'の関係について、'データマイニングは、大規模なデータセットからパターンを抽出し発見するプロセスである...'といった記述が生成された。