[論文レビュー] Weakly-supervised Knowledge Graph Alignment with Adversarial Learning

Meng Qu, Jian Tang+1 more|arXiv (Cornell University)|Jul 6, 2019

Advanced Graph Neural Networks参考文献 28被引用数 9

ひとこと要約

本稿では、最小限または完全にラベルなしのトリプルを用いて、敵対的学習と相互情報最大化を用いた弱教師あり知識グラフアライメント手法を提案する。実際のトリプルと生成されたトリプルを区別するためのディスクライマを訓練し、相互情報正則化を施したREINFORCEを用いることで、モード崩壊を軽減し、ベンチマークデータセットにおいて、教師なしおよび弱教師あり設定の両方で優れた性能を達成する。

ABSTRACT

This paper studies aligning knowledge graphs from different sources or languages. Most existing methods train supervised methods for the alignment, which usually require a large number of aligned knowledge triplets. However, such a large number of aligned knowledge triplets may not be available or are expensive to obtain in many domains. Therefore, in this paper we propose to study aligning knowledge graphs in fully-unsupervised or weakly-supervised fashion, i.e., without or with only a few aligned triplets. We propose an unsupervised framework to align the entity and relation embddings of different knowledge graphs with an adversarial learning framework. Moreover, a regularization term which maximizes the mutual information between the embeddings of different knowledge graphs is used to mitigate the problem of mode collapse when learning the alignment functions. Such a framework can be further seamlessly integrated with existing supervised methods by utilizing a limited number of aligned triples as guidance. Experimental results on multiple datasets prove the effectiveness of our proposed approach in both the unsupervised and the weakly-supervised settings.

研究の動機と目的

• 大規模なアライメント済みトリプルが入手不能または取得に高コストがかかる状況における知識グラフアライメントの課題に対処すること。
• 効果的なアライメントに必要なアライメント済みトリプルが僅かである、教師なしまたは弱教師ありフレームワークの開発。
• 敵対的学習におけるモード崩壊を防ぐために、ソースおよびターゲットグラフの埋め込み間の相互情報量を最大化すること。
• 限られたアライメント済みトリプルをガイドとして活用することで、既存の教師あり手法とシームレスに統合すること。
• 低次元の埋め込みと学習可能な線形アライメント関数のみを用いて、効果的なアライメントを実現すること。

提案手法

• エンティティおよび関係を事前学習済みの知識グラフ埋め込み（例：TransE、TransH、DistMult）で表現する。
• アライメント関数を介して、実際のターゲットグラフトリプルと生成されたトリプルを区別するためのトリプルディスクライマを訓練する。
• 敵対的学習を用いて、ディスクライマをだませるようなアライメント関数（p_e および p_r）を最適化し、アライメント品質を向上させる。
• ソースおよびターゲットエンティティのマッピングの多様性を促進することで、モード崩壊を防ぐために、相互情報量最大化正則化項を導入する。
• ディスクライマの報酬信号に基づく方策勾配を用いて、REINFORCEアルゴリズムでアライメント関数を最適化する。
• 少量のアライメント済みトリプルを監視信号として組み込むことで、教師なし学習と教師あり手法への統合を両立させる。

実験結果

リサーチクエスチョン

• RQ1 大規模なラベル付きトリプルに依存せずに、敵対的学習が知識グラフアライメントに効果的に機能するか。
• RQ2 相互情報量最大化は、敵対的学習におけるアライメントのロバスト性を向上させ、モード崩壊を防止するか。
• RQ3 報酬関数および偽トリプル生成戦略の選択が、アライメント性能に与える影響は何か。
• RQ4 知識グラフ埋め込みモデルの選択が、アライメントフレームワークの性能に与える影響は何か。
• RQ5 提案手法が、既存の教師ありアライメント手法とどの程度統合可能で、弱教師あり性能を向上させられるか。

主な発見

• 生成トリプルを偽サンプルとして用いた敵対的フレームワーク（'adv.'）は、教師なしおよび教師あり設定の両方で、ランダムトリプルベースライン（'rand.' および 'rand.+adv.'）を上回る性能を発揮する。
• TransE埋め込みは、データセット全体を通して、TransH や DistMult よりも一貫して優れた性能を示す。これは、線形移動性が使用される線形アライメント関数と整合するためと推測される。
• 報酬関数 $\frac{x}{1-x}$ と $x$ がテストされたオプションの中で最も優れた性能を示し、特に $\frac{x}{1-x}$ は WK15k fr2en で H@1 36.00、H@10 68.27 を達成した。
• 相互情報量最大化を用いることで、モード崩壊が顕著に軽減され、より多様で正確なエンティティアライメントが保証された。
• 教師なし設定でも強力な結果を達成しており、FB15k-2 では H@1 73.68、H@10 88.91 を記録した。
• このフレームワークは教師あり手法と高い相性を示し、最小限の監視で効果的な弱教師ありアライメントを実現できる。