[論文レビュー] Adaptive Margin Ranking Loss for Knowledge Graph Embeddings via a Correntropy Objective Function

Mojtaba Nayyeri, Xiaotian Zhou+3 more|arXiv (Cornell University)|Jul 9, 2019

Advanced Graph Neural Networks参考文献 20被引用数 4

ひとこと要約

本稿では、知識グラフ埋め込みモデル向けの新しい損失関数である適応マージン損失（AML）を提案する。AMLは、相関エントロピーに基づく目的関数を用いて、学習中にマージンを自動で調整する。学習可能な中心周辺のマージンを動的に拡張することで、上界および下界の手動によるハイパーパramータチューニングの必要性を排除し、FB15kおよびWN18におけるリンク予測性能を顕著に向上させる。それぞれのHit@10スコアは77.7%および95.2%であった。

ABSTRACT

Translation-based embedding models have gained significant attention in link prediction tasks for knowledge graphs. TransE is the primary model among translation-based embeddings and is well-known for its low complexity and high efficiency. Therefore, most of the earlier works have modified the score function of the TransE approach in order to improve the performance of link prediction tasks. Nevertheless, proven theoretically and experimentally, the performance of TransE strongly depends on the loss function. Margin Ranking Loss (MRL) has been one of the earlier loss functions which is widely used for training TransE. However, the scores of positive triples are not necessarily enforced to be sufficiently small to fulfill the translation from head to tail by using relation vector (original assumption of TransE). To tackle this problem, several loss functions have been proposed recently by adding upper bounds and lower bounds to the scores of positive and negative samples. Although highly effective, previously developed models suffer from an expansion in search space for a selection of the hyperparameters (in particular the upper and lower bounds of scores) on which the performance of the translation-based models is highly dependent. In this paper, we propose a new loss function dubbed Adaptive Margin Loss (AML) for training translation-based embedding models. The formulation of the proposed loss function enables an adaptive and automated adjustment of the margin during the learning process. Therefore, instead of obtaining two values (upper bound and lower bound), only the center of a margin needs to be determined. During learning, the margin is expanded automatically until it converges. In our experiments on a set of standard benchmark datasets including Freebase and WordNet, the effectiveness of AML is confirmed for training TransE on link prediction tasks.

研究の動機と目的

• 翻訳ベースの知識グラフ埋め込みモデルが手動でチューニングされたマージンハイパーパramータに過敏である問題に対処すること。
• 正例および負例のスコアの上限および下限を設定するための広範なハイパーパramータサーチの必要性を排除すること。
• 学習中にマージンを自動で適応させる損失関数を開発し、モデルの一般化性能および性能を向上させること。
• より適応的な最適化プロセスを通じて、TransEおよび類似モデルのリンク予測タスクにおけるロバスト性と効果性を高めること。

提案手法

• 学習可能なパラメータを中心とする確率的分布としてマージンをモデル化する相関エントロピーに基づく目的関数を提案する。
• 学習中にマージンを動的に拡張するスラック変数を導入し、正例が十分に低いスコアになるように保証する。
• 従来の損失関数における固定マージン境界を、ハイパーパラメータの探索空間を削減するための単一の学習可能な中心パラメータに置き換える。
• 標準的な最適化手法（例：AdamやAdagrad）を用いたエンドツーエンド学習が可能な微分可能形式の損失を採用する。
• 損失関数をTransEに適用し、最適化中にマージン幅を自動で調整するTransEAMLという変種を構築する。
• 正例および負例のスコアに同じスラックを追加する対称的なマージン調整戦略を採用し、ロバスト性を維持する。

実験結果

リサーチクエスチョン

• RQ1 学習中にマージンを自動で適応させるような損失関数を設計可能か？　手動によるハイパーパラメータチューニングへの依存を軽減できるか？
• RQ2 適応的マージン機構は、標準ベンチマークにおける翻訳ベースの知識グラフ埋め込みモデルの性能を向上させるか？
• RQ3 固定マージンおよびスコアの上限・下限を考慮する損失関数と比較して、提案された相関エントロピーに基づく目的関数は、リンク予測精度においてどのように差をつけるか？
• RQ4 ハイパーパラメータ探索空間の縮小は、学習効率およびモデル安定性の向上にどの程度寄与するか？

主な発見

• WN18ベンチマークにおいて、TransEAMLはHit@10スコア95.2%を達成し、マージンランク損失（MRL）を用いたTransE（89.2%）および制限付きスコア損失（93.7%）を顕著に上回った。
• FB15kでは、TransEAMLが77.7%のHit@10を達成したのに対し、MRLを用いたTransEは47.1%、制限付きスコア損失は72.3%であった。これは顕著な性能向上を示している。
• 提案されたAML損失関数により、正例および負例のスコアの上限・下限に対する手動チューニングの必要性が低減され、ハイパーパラメータ選定が簡素化された。
• 相関エントロピーに基づく目的関数のおかげで、学習中にマージンが自動で拡張され、正例および負例の三つ組の分離が向上した。
• 実験的結果から、適応的マージン機構が複数の標準知識グラフベンチマークにおいてモデルの一般化能力およびロバスト性を向上させることを確認した。
• 中心パラメータのみをチューナブルパラメータとして用いることで、最小限のハイパーパラメータサーチで高い性能を維持した。