[論文レビュー] Efficient Relation-aware Scoring Function Search for Knowledge Graph Embedding

Shimin Di, Quanming Yao+2 more|arXiv (Cornell University)|Apr 22, 2021

Advanced Graph Neural Networks参考文献 50被引用数 4

ひとこと要約

本稿では、知識グラフ埋め込みにおける関係に敏感なスコア関数を学習するための、ワンショットでスアップネットベースのニューラルアーキテクチャサーチ手法ERASを提案する。共通のスアップネット内で関係固有のスコア関数をモデル化し、効率的な代替最小化を用いることで、従来のAutoMLベース手法と比較して、一般化性能と効率性を向上させつつ、ベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

The scoring function, which measures the plausibility of triplets in knowledge graphs (KGs), is the key to ensure the excellent performance of KG embedding, and its design is also an important problem in the literature. Automated machine learning (AutoML) techniques have recently been introduced into KG to design task-aware scoring functions, which achieve state-of-the-art performance in KG embedding. However, the effectiveness of searched scoring functions is still not as good as desired. In this paper, observing that existing scoring functions can exhibit distinct performance on different semantic patterns, we are motivated to explore such semantics by searching relation-aware scoring functions. But the relation-aware search requires a much larger search space than the previous one. Hence, we propose to encode the space as a supernet and propose an efficient alternative minimization algorithm to search through the supernet in a one-shot manner. Finally, experimental results on benchmark datasets demonstrate that the proposed method can efficiently search relation-aware scoring functions, and achieve better embedding performance than state-of-the-art methods.

研究の動機と目的

• 知識グラフにおける異なる意味的パターンを考慮せずに、すべての関係を均一に扱う従来のスコア関数の限界を是正すること。
• 関係に敏感なスコア関数選択を可能にする探索空間の設計により、モデルの表現力と一般化性能を向上させること。
• 探索空間をスアップネットとしてエンコードし、ワンショットアーキテクチャサーチを可能にすることで、関係に敏感な探索の計算コストを低減すること。
• スコア関数と埋め込みを交互に更新する効率的な最適化アルゴリズムの開発により、過学習を回避すること。

提案手法

• 意味的パターンに基づいて関係をグループ化し、各グループに固有のスコア関数を割り当てることで、関係に敏感なスコア関数探索問題を定式化する。
• 全候補スコア関数を統合したスアップネットを構築し、パラメータ共有と効率的な探索を可能にする。
• スアップネットを一度訓練し、再訓練なしに異なるサブネットを評価することで、ワンショットアーキテクチャサーチ戦略を採用する。
• スコア関数とエンティティ・関係埋め込みを交互に更新することで、両者を共同最適化する代替最小化アルゴリズムを提案する。
• 検索プロセスでは、検証性能を指標として各関係グループごとの最適なスコア関数の選択を導き、一般化を確保する。
• 検索中に関係を動的にグループ化することで、人為的な意味的グループ分けに起因するバイアスを回避する。

実験結果

リサーチクエスチョン

• RQ1 タスクに敏感ではあるが関係に敏感でない手法と比較して、関係に敏感なスコア関数探索戦略は、知識グラフ埋め込み性能を顕著に向上させることができるか？
• RQ2 各候補を再訓練から始めることなく、関係に敏感なスコア関数の巨大な探索空間を効率的に探索する方法は何か？
• RQ3 動的関係グループ化と静的で人為的なグループ分けのどちらが、モデル性能に与える影響が大きいのか？
• RQ4 関係グループ数とブロック数の変更が、性能と効率のトレードオフにどのように影響するか？
• RQ5 スアップネットベースのワンショットNASアプローチは、高い探索効率を維持しながらも、競争力のある結果を達成できるか？

主な発見

• ERASは、すべてのベンチマークデータセットで最先端の性能を達成し、WN18でMRR 0.953、WN18RRで0.492、FB15Kで0.855、FB15k237で0.365、YAGO3-10で0.577を記録した。
• すべてのデータセットでAutoSFや他のSOTAベースラインを上回り、関係に敏感なスコア関数設計の有効性を実証した。
• 3〜4つの関係グループで最適な性能が達成されており、中程度のグループ化が過剰な複雑さを伴わずに一般化性能を向上させることを示した。
• ERASの二段階最適化戦略は、単一段階最適化よりも優れた一般化性能を示しており、検証性能の観点からその有効性が裏付けられた。
• スアップネットベースのワンショット探索により、効率的な学習と推論が可能となり、ブロック数やグループ化戦略の設定も柔軟に変更可能であった。
• 検索による動的グループ化は、人為的な意味的グループ分けを上回る性能を発揮しており、データ駆動型の割り当てが事前の仮定よりも効果的であることを示した。