[論文レビュー] A Survey On Few-shot Knowledge Graph Completion with Structural and Commonsense Knowledge

Haodi Ma, Daisy Zhe Wang|arXiv (Cornell University)|Jan 3, 2023

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本調査は、不完全な知識グラフにおける長尾関係および新規追加関係に対処するために、構造的知識と一般常識的知識の両方を活用する少サンプル知識グラフ補完（FKGC）手法について包括的なレビューを提供する。FKGCアプローチをメタラーニングベース、アテンション駆動型、言語モデルベースの手法に分類し、構造的および自由形式のKG（例：ConceptNet や ATOMIC）におけるゼロショット／少サンプル一般化の向上に寄与するテキスト的意味と少サンプルの誘導バイアスの統合を強調する。

ABSTRACT

Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.

研究の動機と目的

• 長尾関係および十分なトレーニングトリプルを欠く新規導入関係を有する不完全な知識グラフの課題に対処すること。
• 構造的知識、一般常識的知識、および事前学習済み言語モデルの使用に基づいて、既存のFKGC手法を調査・分類すること。
• NELL-One、Wiki-One、ConceptNet、ATOMICを含む多様なベンチマークにおけるFKGCモデルの性能と限界を分析すること。
• 現在の評価におけるギャップを特定し、FKGCにおけるマルチモーダルおよび記号的知識の統合のための今後の研究方向性を提案すること。
• 自然言語処理および知識集約型アプリケーションにおける下流タスクに適したFKGC手法の選定を研究者にガイドすること。

提案手法

• FKGC手法をメタラーニングベース（例：MetaR, MAML）、アテンションベース（例：InductiveE, FSRL）、生成ベース（例：OntoPrompt, BERTNet）のアプローチに分類する。
• 知識源に基づくFKGCモデルの分類法を導入：構造的KG（例：FB15K-237, NELL）および一般常識的KG（例：ConceptNet, ATOMIC）。
• クエリ関係の意味を基に、近隣エンティティおよび参照トリプルの重みを動的に割り当てるアテンション機構の使用を提唱する。
• NELL-One や Wiki-One などの少サンプルベンチマークを用いてモデルを評価し、関係ごとに1〜5個のトレーニングトリプルしか利用できない状況を想定する。
• プロンプトチューニングを介してエンドツーエンドのトリプル生成を可能にする事前学習済み言語モデル（例：BERT, GPT）の統合を検討し、ゼロショット一般化を実現する。
• オントロジーおよびルールからの記号的知識を用いて、未学習のエンティティおよび関係に対する推論をガイドすることで、学習済みパターンを超えた一般化を向上させることを提唱する。

実験結果

リサーチクエスチョン

• RQ1 少サンプル知識グラフ補完モデルは、最小限の監視情報で長尾関係および新規導入関係に効果的に一般化できるか？
• RQ2 メタラーニングベース、アテンションベース、言語モデルベースのFKGC手法の間で、性能および設計にどのような主な差異があるか？
• RQ3 事前学習済み言語モデルは、少サンプル設定において従来の知識グラフ埋め込みを置き換えたり補完したりできるか？
• RQ4 構造的知識と一般常識的知識の両源は、多様なKGにおいて少サンプルリンク予測をサポートする上で、どのように比較されるか？
• RQ5 将来的なFKGCフレームワークにおけるマルチモーダルおよび記号的知識統合のための最も有望な方向性は何か？

主な発見

• MetaR や MAML などのメタラーニングベースのモデルは、トレーニング中に高頻度の関係を用いて関係埋め込みの普遍的初期化を学習することで、強力な少サンプル一般化を達成する。
• InductiveE や FSRL などのアテンションベースのモデルは、クエリ関係に関連する近隣エンティティの関連性に基づいて重みを動的に割り当てることで性能を向上させる。
• BERTNet や COMET などの言語モデルベースのアプローチは、エンティティおよび関係名が自然言語フレーズである自由形式一般常識KG（例：ConceptNet や ATOMIC）において、強力なゼロショット能力を示す。
• テキスト記述および関係の意味を統合するモデル（例：GANA, ZSGAN）は、意味的事前知識を組み込むことで、未学習の関係においても性能が向上する。
• オントロジーおよびルールに基づくプロンプト（例：OntoPrompt）は、微調整を必要とせずに記号的推論を可能にし、未学習のエンティティおよび関係への一般化を向上させる。
• 有望な結果が得られているものの、現在の評価は限定的であり、大規模な構造的KGと言語モデルベースのシステムを網羅的に比較できる包括的なベンチマークは存在しない。