[論文レビュー] Toward Understanding The Effect of Loss Function on The Performance of Knowledge Graph Embedding

Mojtaba Nayyeri, Chengjin Xu+3 more|arXiv (Cornell University)|Sep 25, 2019

Advanced Graph Neural Networks参考文献 28被引用数 8

ひとこと要約

この論文は、知識グラフ埋め込みにおけるTransEの性能に損失関数の選択が顕著に影響することを明らかにし、従来の仮定である『制限要因はスコア関数に起因する』という考えに疑問を呈する。理論的分析と実験的検証を通じて、適切な損失関数の選択が、対称性や反射的関係といった関係パターンの捉え込みの欠陥を効果的に是正できることを示している。

ABSTRACT

Knowledge graphs (KGs) represent world's facts in structured forms. KG completion exploits the existing facts in a KG to discover new ones. Translation-based embedding model (TransE) is a prominent formulation to do KG completion. Despite the efficiency of TransE in memory and time, it suffers from several limitations in encoding relation patterns such as symmetric, reflexive etc. To resolve this problem, most of the attempts have circled around the revision of the score function of TransE i.e., proposing a more complicated score function such as Trans(A, D, G, H, R, etc) to mitigate the limitations. In this paper, we tackle this problem from a different perspective. We show that existing theories corresponding to the limitations of TransE are inaccurate because they ignore the effect of loss function. Accordingly, we pose theoretical investigations of the main limitations of TransE in the light of loss function. To the best of our knowledge, this has not been investigated so far comprehensively. We show that by a proper selection of the loss function for training the TransE model, the main limitations of the model are mitigated. This is explained by setting upper-bound for the scores of positive samples, showing the region of truth (i.e., the region that a triple is considered positive by the model). Our theoretical proofs with experimental results fill the gap between the capability of translation-based class of embedding models and the loss function. The theories emphasise the importance of the selection of the loss functions for training the models. Our experimental evaluations on different loss functions used for training the models justify our theoretical proofs and confirm the importance of the loss functions on the performance.

研究の動機と目的

• TransEが対称的・反射的関係といった複雑な関係パターンを捉えられない理由を解明すること。
• 従来の見解である『TransEの制限はスコア関数に起因するのみ』という仮定に反論すること。
• 異なる損失関数がスコア関数の正しく学習できる能力に与える影響を理論的に分析すること。
• スコア関数を変更せずに、損失関数の選択によってTransEの根本的欠陥を是正できることを実証すること。
• 翻訳ベースのモデルの理論的潜在能力と、損失関数が学習プロセスにおいて果たす役割の間のギャップを埋めること。

提案手法

• 損失関数がTransEの性能に与える影響を分析する理論的枠組みを提案し、正例のスコアの上界に注目する。
• モデルが三元組を正例として分類する埋め込みの集合を「真実領域」と定義する。
• 理論的証明を用いて、特定の損失関数がスコア分布を制約し、正例が望ましい領域内に収束することを示す。
• 損失関数の選択と関係パターンへの一般化能力の間の明確な関係を形式的に分析する。
• 複数の標準的知識グラフベンチマークを用いた制御実験を通じて、異なる損失関数の性能を評価する。
• MRRやHits@10といった性能指標を測定することで、理論的主張の妥当性を実験的に検証する。

実験結果

リサーチクエスチョン

• RQ1 損失関数の選択が、TransEの対称的・反射的関係のモデル化能力にどのように影響するか？
• RQ2 なぜ従来のTransEの制限に関する理論は、損失関数の役割を十分に捉えていなかったのか？
• RQ3 適切な損失関数が、TransEスコア関数の本質的制限を補うことができるか？
• RQ4 損失関数と知識グラフ埋め込みにおける真実領域との理論的関係は何か？
• RQ5 スコア関数を変更せずに、損失関数の選択が性能向上にどの程度寄与できるか？

主な発見

• 理論的分析により、損失関数が正例三元組のスコア上界を直接制御し、真実領域の形状を規定することが示された。
• マージンベースのランク損失やシグモイドベースの損失関数は、対称的・反射的関係の性能向上に顕著に寄与した。
• 実験により、同一のスコア関数であっても、異なる損失関数の選択によってモデル性能に顕著な差が生じることが確認された。
• 従来の仮定とは対照的に、損失関数の選択が複雑な関係パターンの捉え込み不足を是正できることを示した。
• 理論的知見により、特定の損失関数が一般化性能を向上させ、MRRやHits@10スコアを改善する理由が説明された。
• 翻訳ベースの知識グラフ埋め込みモデルにおける損失関数の役割に関する、重要な理解のギャップが本研究で埋められた。