[論文レビュー] Generative Adversarial Zero-Shot Relational Learning for Knowledge Graphs

Pengda Qin, Xin Wang+4 more|arXiv (Cornell University)|Jan 8, 2020

Topic Modeling参考文献 28被引用数 6

ひとこと要約

本論文は、テキスト記述のみから妥当な関係埋め込みを生成することで、トレーニング例が存在しない状況でも未知の関係を認識できるゼロショット知識グラフ補完のための生成的対抗フレームワークを提案する。TF-IDF重み付き単語埋め込みを用いた条件付きGANを活用することで、NELL-ZSおよびWiki-ZSデータセットにおいて複数のKG埋め込みモデルで一貫した性能向上を達成し、最良のベースライン（ZS-DistMult）に比べてHits@10で最大12.3%の向上を達成した。

ABSTRACT

Large-scale knowledge graphs (KGs) are shown to become more important in current information systems. To expand the coverage of KGs, previous studies on knowledge graph completion need to collect adequate training instances for newly-added relations. In this paper, we consider a novel formulation, zero-shot learning, to free this cumbersome curation. For newly-added relations, we attempt to learn their semantic features from their text descriptions and hence recognize the facts of unseen relations with no examples being seen. For this purpose, we leverage Generative Adversarial Networks (GANs) to establish the connection between text and knowledge graph domain: The generator learns to generate the reasonable relation embeddings merely with noisy text descriptions. Under this setting, zero-shot learning is naturally converted to a traditional supervised classification task. Empirically, our method is model-agnostic that could be potentially applied to any version of KG embeddings, and consistently yields performance improvements on NELL and Wiki dataset.

研究の動機と目的

• 新しい関係にラベル付きトレーニング例が存在しない状況における知識グラフ補完の課題に対処すること。
• トレーニング例ではなくテキスト記述を活用することで、未学習の関係事実のゼロショット認識を可能にすること。
• 任意の既存の知識グラフ埋め込み手法と連携可能なモデルに依存しないフレームワークを構築すること。
• TF-IDF重み付けを用いてテキスト記述のノイズを低減し、埋め込み品質の向上を図ること。
• 多様なデータセットおよび埋め込みアーキテクチャにおいて一貫した性能向上を実証すること。

提案手法

• 未学習の関係のテキスト記述から関係埋め込みを生成するために、条件付き生成的対抗ネットワーク（cGAN）を用いる。
• 生成器の入力として、事前学習済みの単語埋め込み（Word2Vec、BERT）を用いたbag-of-wordsモデルを採用する。
• 意味のない単語の重みを低下させ、テキスト記述におけるノイズ低減を図るためにTF-IDF重み付けを適用する。
• 生成器と識別器を敵対的に訓練することで、意味的クラスタと整合する現実的な関係埋め込みを生成する。
• 生成された埋め込みとクラスタ中心とのコサイン類似度を用いて、埋め込み品質を評価する。
• TransE、DistMultなど、任意のKG埋め込みモデルと統合可能であるため、モデルに依存しない。

実験結果

リサーチクエスチョン

• RQ1 未学習の関係のテキスト記述のみから、関係埋め込みを効果的に生成できるか？
• RQ2 ラベル付きトレーニング例が一切ない状況でも、GANベースのフレームワークが未学習の関係に一般化できるか？
• RQ3 記述内の単語にTF-IDF重み付けを適用することで、生成された関係埋め込みの品質が向上するか？
• RQ4 提案手法は、既存のゼロショットおよびフェイントショットベースラインと比較して、リンク予測性能で優れているか？
• RQ5 異なるKG埋め込みモデルおよびデータセットにおいて、フレームワークは頑健で効果的か？

主な発見

• NELL-ZSデータセットにおいて、本手法は最良のベースライン（ZS-DistMult）に比べて、Hits@10で最大12.3%の向上を達成した。
• NELL-ZSデータセットでは、ZS-DistMultに比べてMRRが1.6%、Hits@10が1.6%向上し、異なる埋め込みモデルにおいても一貫した向上を示した。
• NELL-ZSおよびWiki-ZSデータセットの両方で、すべてのベースラインを上回り、多様なデータ分布に対して頑健であることが示された。
• TF-IDF重み付けにより、テキスト記述のノイズが効果的に低減されたことが実証され、1関係あたりの高重量単語数が2〜5に減少した。
• CNNやLSTMなどの複雑なニューラルエンコーダーに比べ、単純なbag-of-wordsにTF-IDFを組み合わせた手法が、敵対的訓練における一般化性と安定性を高め、優れた性能を発揮した。
• 生成された関係埋め込みは高い意味的整合性を示しており、クラスタ中心とのコサイン類似度と下流のリンク予測性能の間に強い正の相関が確認された。