[論文レビュー] Global and local evaluation of link prediction tasks with neural embeddings

Asan Agibetov, Matthias Samwald|arXiv (Cornell University)|Jul 27, 2018

Advanced Graph Neural Networks参考文献 17被引用数 5

ひとこと要約

本稿は、リンク予測を二値分類タスクとして定式化することで、知識グラフにおけるニューラル埋め込みの評価のための統一ベンチマークを提案する。グローバル（全関係に対して1つのモデル）とローカル（関係固有のモデル）の訓練アプローチを比較し、グローバルに訓練された埋め込みが、ローカルに訓練されたものと同等のF-measure（約0.8）を達成することを発見。性能を維持しつつスケーラビリティに優れ、オープンソースツールによる標準的で再現可能な評価の推進を提言する。

ABSTRACT

We focus our attention on the link prediction problem for knowledge graphs, which is treated herein as a binary classification task on neural embeddings of the entities. By comparing, combining and extending different methodologies for link prediction on graph-based data coming from different domains, we formalize a unified methodology for the quality evaluation benchmark of neural embeddings for knowledge graphs. This benchmark is then used to empirically investigate the potential of training neural embeddings globally for the entire graph, as opposed to the usual way of training embeddings locally for a specific relation. This new way of testing the quality of the embeddings evaluates the performance of binary classifiers for scalable link prediction with limited data. Our evaluation pipeline is made open source, and with this we aim to draw more attention of the community towards an important issue of transparency and reproducibility of the neural embeddings evaluations.

研究の動機と目的

• 知識グラフのリンク予測におけるニューラル埋め込みの評価において、標準的で透明性があり再現可能な実践が不足している問題に対処すること。
• 全グラフに対して一度だけ訓練されたグローバルに訓練された埋め込みが、関係固有のローカル訓練埋め込みと同等の性能を達成できるかどうかを調査すること。
• 公平で強固なベンチマークのため、グローバルおよびローカルの評価戦略を統合した統一された評価手法を形式化すること。
• 平均ランクベースの指標が二値分類設定で限界を示す点を強調し、F-measure や AUC といった分類器ベースの指標の導入を提唱すること。
• オープンソースの評価パイプラインをリリースすることで、再現可能性を促進すること。

提案手法

• リンク予測を二値分類タスクとして形式化し、エンティティ埋め込みに基づいて三元組 (e_i, r_k, e_j) が真であるか偽であるかをモデルが予測する。
• 全関係にわたってすべてのエンティティのグローバル埋め込みを1つのニューラルモデルで訓練する一方で、関係ごとに別々のモデルを訓練する方法とは対照的である。
• 平均ランクや平均逆数ランクの代わりに、標準的な二値分類指標（F-measure、AUC、適合率、再現率）を評価に用いる。
• 真のリンクを訓練セットから削除することで負例サンプルを生成し、テストの正例と重複がないようにし、データ漏洩を防ぐ。
• スコアが0.5を超えるなど、しきい値ベースの分類器（例：スコア > 0.5）を用いて連続スコアを二値予測に変換する。
• WN11知識グラフ上で、全関係にわたるグローバルおよびローカル埋め込み訓練戦略を比較して、アプローチを検証する。

実験結果

リサーチクエスチョン

• RQ1 グローバルに訓練されたニューラル埋め込みは、関係固有のローカル訓練と比較して、リンク予測で競争力のある性能を達成できるか？
• RQ2 標準的な平均ランクベースの指標と、F-measure や AUC といった二値分類指標は、リンク予測の品質評価においてどのように比較できるか？
• RQ3 リンク予測ベンチマークにおける負例サンプル生成とデータ漏洩の影響は何か？
• RQ4 特に低接続性のグラフにおいて、グローバル訓練アプローチはローカル訓練と比較してどの程度スケーラブルか？
• RQ5 知識グラフ埋め込み研究における評価パイプラインを、どのようにしてより透明性と再現可能性を高められるか？

主な発見

• グローバルに訓練された埋め込みは、WN11データセットにおいて全関係で平均F-measureが約0.8を達成し、ローカルに訓練された埋め込みと同等の性能を示した。
• グローバルアプローチはよりスケーラブルであり、全関係に対して1つのニューラルモデルで十分である一方、関係ごとに1つずつモデルを訓練する必要がない。
• 平均ランクベースの指標は、二値分類タスクでは誤解を招く可能性がある。特にしきい値設定が不適切な場合、実用的展開において優れた性能を持つモデルであっても低評価されることがある。
• 負例サンプルの生成には、潜在的なテスト正例を考慮する必要があり、情報漏洩を防ぎ、分類器の堅牢性を確保する。
• エンティティの接続性が低い場合、グローバル訓練アプローチは脆弱になる。これは、入力または出力のリンクが少ないエンティティの埋め込みに失敗する可能性があるためである。
• 著者らは、透明性、再現性、標準化を促進するため、オープンソースの評価パイプラインをリリースした。