[論文レビュー] AutoSF: Searching Scoring Functions for Knowledge Graph Embedding

Yongqi Zhang, Quanming Yao+2 more|arXiv (Cornell University)|Apr 26, 2019

Advanced Graph Neural Networks参考文献 60被引用数 8

ひとこと要約

AutoSFは、二重線形モデルの統一的表現と、フィルターや予測子で強化された段階的グリーディ探索を用いて、知識グラフ埋め込み（KGE）における最適スコアリング関数（SF）の自動探索を可能にする自動機械学習（AutoML）フレームワークを提案する。本手法は、リンク予測およびトリプレット分類のベンチマークで、人為的に設計された最先端モデルを上回る、KG固有の新しいSFを発見した。

ABSTRACT

Scoring functions (SFs), which measure the plausibility of triplets in knowledge graph (KG), have become the crux of KG embedding. Lots of SFs, which target at capturing different kinds of relations in KGs, have been designed by humans in recent years. However, as relations can exhibit complex patterns that are hard to infer before training, none of them can consistently perform better than others on existing benchmark data sets. In this paper, inspired by the recent success of automated machine learning (AutoML), we propose to automatically design SFs (AutoSF) for distinct KGs by the AutoML techniques. However, it is non-trivial to explore domain-specific information here to make AutoSF efficient and effective. We firstly identify a unified representation over popularly used SFs, which helps to set up a search space for AutoSF. Then, we propose a greedy algorithm to search in such a space efficiently. The algorithm is further sped up by a filter and a predictor, which can avoid repeatedly training SFs with same expressive ability and help removing bad candidates during the search before model training. Finally, we perform extensive experiments on benchmark data sets. Results on link prediction and triplets classification show that the searched SFs by AutoSF, are KG dependent, new to the literature, and outperform the state-of-the-art SFs designed by humans.

研究の動機と目的

• 多様な関係パターンを示す知識グラフ（KG）において、一般化能力が低い人為的設計のスコアリング関数（SF）の課題に対処すること。
• AutoML技術を用いて、データ依存の最適SFを自動で発見することで、SF設計における人的作業を削減すること。
• 全候補を完全に訓練するのではなく、高パフォーマンスなSFを特定する効率的な探索フレームワークを開発すること。
• 対称性、逆関係など、ドメイン固有の関係的性質を探索プロセスに組み込むことで、有効性と一般化能力を向上させること。
• 特定のKGに特化した、これまでにない新しいスコアリング関数を発見することで、既存の人為的設計SFを上回ること。

提案手法

• 既存の二重線形SFの統一的表現を定式化し、既知および新しいSFをカバーする汎用的かつ表現力豊かな探索空間を実現する。
• 性能推定値に基づいて段階的に有望なSF候補を選択するプログレッシブグリーディ探索アルゴリズムを提案する。
• 同一の表現力を持つ重複するSFを除外するためのフィルタを導入し、無駄な訓練を回避する。
• SRF（構造的関係特徴）表現上で訓練された予測モデルを用い、完全な訓練の前段階でSFの性能を推定する。
• 構造的関係特徴（SRF）を用いて関係パターン（例：対称性、逆関係）を符号化し、ドメイン固有のインダクティブバイアスを探索に導く。
• 二段階パイプラインを採用：まず低次元のSF（d=64）で探索を行い、次に高次元（d∈{256,512,1024,2048}）でハイパーパramータを微調整する。

実験結果

リサーチクエスチョン

• RQ1 自動探索フレームワークは、知識グラフ埋め込みにおいて、人為的に設計されたSFを上回るスコアリング関数を発見できるか？
• RQ2 既存の二重線形SFの統一的表現は、効果的かつ一般化可能な探索空間の構築にどのように寄与するか？
• RQ3 ドメイン固有の関係的性質（例：対称性、逆関係）は、効率的なSF探索をどのようにガイドするか？
• RQ4 フィルターや予測子は、パフォーマンスを損なわせることなく、探索コストをどの程度低減できるか？
• RQ5 提案されたAutoSFフレームワークは、大規模KGに対しても効率的にスケーリング可能であり、高い正確性を維持できるか？

主な発見

• AutoSFは、文献に存在しないKG依存の新しいスコアリング関数を発見し、未開拓の探索空間を探索可能であることを示した。
• 探索されたSFは、WN18、FB15K、WN18RR、FB15k237、YAGO3-10を含む複数のベンチマークデータセットで、リンク予測およびトリプレット分類において最先端のパフォーマンスを達成した。
• フィルタと予測子の併用により、探索の効率が顕著に向上し、グリーディ探索やランダム探索と比較して、完全なモデル訓練の回数が削減された。
• 全探索プロセスはたった数時間（8GPUで）で完了し、YAGO3-10では1日未塔であった。これは、強化学習（500GPUで4日）や遺伝的プログラミング（1GPUで17日）と比較して顕著に高速であった。
• 探索コストは、高次元埋め込みの微調整コストと同等であり、探索が計算的に実行可能で、実世界の展開に実用的であることを示した。
• アブレーションスタディにより、フィルタまたは予測子を削除すると効率が低下することが確認され、両者が冗長で性能が低い候補を効果的に削除する上で不可欠であることが裏付けられた。