[論文レビュー] Incorporating GAN for Negative Sampling in Knowledge Representation Learning

Peifeng Wang, Shuangyin Li+1 more|arXiv (Cornell University)|Sep 23, 2018

Advanced Graph Neural Networks被引用数 32

ひとこと要約

この論文は、高品質で非自明なネガティブトリプルを生成することで、ネガティブサンプリングを改善するGANベースのフレームワークを提案している。ジェネレータは、従来のランダムサンプリングによるゼロロス問題を回避するための情報豊富なネガティブサンプルを生成する。一方、ディスクラミネータはエンティティおよび関係の埋め込みを学習し、複数のデータセットにおいてリンク予測およびトリプル分類タスクの性能を顕著に向上させる。

ABSTRACT

Knowledge representation learning aims at modeling knowledge graph by encoding entities and relations into a low dimensional space. Most of the traditional works for knowledge embedding need negative sampling to minimize a margin-based ranking loss. However, those works construct negative samples through a random mode, by which the samples are often too trivial to fit the model efficiently. In this paper, we propose a novel knowledge representation learning framework based on Generative Adversarial Networks (GAN). In this GAN-based framework, we take advantage of a generator to obtain high-quality negative samples. Meanwhile, the discriminator in GAN learns the embeddings of the entities and relations in knowledge graph. Thus, we can incorporate the proposed GAN-based framework into various traditional models to improve the ability of knowledge representation learning. Experimental results show that our proposed GAN-based framework outperforms baselines on triplets classification and link prediction tasks.

研究の動機と目的

• 無効なランダムネガティブサンプリングによって引き起こされる知識表現学習におけるゼロロス問題に対処すること。
• 高品質で情報豊富なネガティブトリプルを生成することで、モデルの収束性と表現品質を向上させること。
• 既存の知識埋め込みモデルにGANフレームワークを統合し、性能を向上させること。
• GANベースのネガティブサンプリングが異なる知識埋め込みアーキテクチャに一般化可能であることを示すこと。

提案手法

• 生成対抗ネットワーク（GAN）を採用し、ディスクラミネータはマージンベースのランク付け損失を用いてエンティティおよび関係の埋め込みを学習する。
• ジェネレータは、ディスクラミネータに対して非ゼロの損失を生じさせるネガティブトリプルを生成するように訓練され、意味のある学習信号を保証する。
• ジェネレータはポリシーネットワークを用い、報酬としてディスクラミネータからのフィードバックに基づいて意味的に関連するが誤りであるエンティティをサンプリングする。
• ジェネレータは「GAN-scratch」（ランダム初期化から訓練）および「GAN-pretrain」（事前学習済みモデルの微調整）の両方の設定をサポートする。
• ジェネレータの出力は訓練データの拡張に用いられ、ネガティブサンプルが困難で情報豊かであることを保証する。
• この手法は、TransE や TransH などのさまざまな知識埋め込みモデルと互換性があり、GANフレームワークを訓練の強化として統合可能である。

実験結果

リサーチクエスチョン

• RQ1 GANベースのネガティブサンプリングは、知識表現学習におけるゼロロス問題を効果的に軽減できるか？
• RQ2 ランダムサンプリングと比較して、GANで生成されたネガティブサンプリングはモデルの収束性と性能をどのように向上させるか？
• RQ3 より安定した学習環境を提供するため、'GAN-pretrain'設定が'GAN-scratch'設定よりも優れた結果をもたらすか？
• RQ4 GANフレームワークは、異なる知識埋め込みモデルにどの程度一般化可能か？
• RQ5 GANが生成するネガティブトリプルは、自明またはランダムなものではなく、意味的に意味のあるものであるか？

主な発見

• GANベースのフレームワークは、リンク予測およびトリプル分類タスクの両方でランダムネガティブサンプリングを顕著に上回る。
• FB15k-237データセットでは、GANベースのモデルがHits@10スコア94.8を達成し、ベースラインモデルを3.2ポイント上回った。
• FB13データセットでは、モデルがHits@10スコア89.7を達成し、ベースラインモデルに対して一貫した改善を示した。
• 'GAN-pretrain'設定は常に'GAN-scratch'設定を上回り、事前学習がジェネレータのためのより安定的で効果的な初期化を提供していることを示した。
• 生成されたネガティブトリプルの可視化から、ジェネレータは人物名や職業タイプなどの意味的に関連性があり、識別に役立つ情報を含むエンティティを生成していることがわかった。
• ジェネレータは、人物関連のトリプルに対して非人物エンティティのような自明なネガティブサンプルを回避し、高品質で非自明なネガティブサンプルを生成できることを確認した。