[論文レビュー] Data-dependent Learning of Symmetric/Antisymmetric Relations for Knowledge Base Completion

Hitoshi Manabe, Katsuhiko Hayashi+1 more|arXiv (Cornell University)|Aug 25, 2018

Topic Modeling被引用数 5

ひとこと要約

本論文は、学習データに応じて関係表現の対称性または反対称性を適応的に促進するデータ駆動型L1正則化子をComplEx埋め込みに提案する。結合パラメータに乗法的L1正則化を適用することで、特に低データ環境下において、FB15kおよびWN18の知識ベース補完性能が向上し、標準のL1およびL2ベースラインを上回る。

ABSTRACT

Embedding-based methods for knowledge base completion (KBC) learn representations of entities and relations in a vector space, along with the scoring function to estimate the likelihood of relations between entities. The learnable class of scoring functions is designed to be expressive enough to cover a variety of real-world relations, but this expressive comes at the cost of an increased number of parameters. In particular, parameters in these methods are superfluous for relations that are either symmetric or antisymmetric. To mitigate this problem, we propose a new L1 regularizer for Complex Embeddings, which is one of the state-of-the-art embedding-based methods for KBC. This regularizer promotes symmetry or antisymmetry of the scoring function on a relation-by-relation basis, in accordance with the observed data. Our empirical evaluation shows that the proposed method outperforms the original Complex Embeddings and other baseline methods on the FB15k dataset.

研究の動機と目的

• 標準のComplEx埋め込みが対称的および反対称的関係をモデル化する際に冗長なパラメータにより非効率であるという問題に対処すること。
• 事前知識に依存せずに、学習データで実際に観察された対称性／反対称性に適応する正則化手法を開発すること。
• 対称性または反対称性を示す関係に対して、よりスパースで構造的な表現を促進することで、知識ベース補完性能を向上させること。
• 純粋に対称的でも反対称的でもない関係についてもモデルの表現力を維持し、過剰に制約を加えないこと。

提案手法

• ComplExにおける結合パラメータの積に適用される乗法的L1正則化子を提案し、特に関係ベクトルの実部と虚部を対象とする。
• データ駆動型の対称性スコアに基づき、対称的関係では関係ベクトルの虚部を小さくし、反対称的関係では実部を小さくするよう正則化を促進する。
• 対称性は、関係ごとの対称的正例トリプル数を全正例トリプル数で割った比率として定義される対称性スコアによって定量化される。
• 標準のComplExスコア関数と、実部と虚部の積に対する乗法的L1ペナルティを組み合わせた修正された損失関数を用いる。
• 微分可能でエンドツーエンド学習可能なように設計されており、埋め込みと正則化の同時最適化が可能である。
• 合成データを用いた実験により、対称／反対称パターンの学習能力を検証し、FB15kやWN18などの実世界データセットでも評価を実施。

実験結果

リサーチクエスチョン

• RQ1 事前知識に依存せずに、データ駆動型正則化手法が関係埋め込みにおける対称性または反対称性を効果的に同定・促進できるか。
• RQ2 乗法的L1正則化は、標準のL1またはL2正則化と比較して、対称的および反対称的関係の表現学習をどのように改善するか。
• RQ3 本手法は、実世界の知識ベース補完ベンチマーク、特に低データ設定下でどの程度の性能を示すか。
• RQ4 学習された埋め込み構造は、実データセットにおける関係の実際の対称性／反対称性とどの程度相関しているか。

主な発見

• 提案された乗法的L1正則化子は、FB15kデータセットにおいて標準のL1およびL2正則化と比較して顕著に優れた性能を示し、より高いフィルタードMRRスコアを達成した。
• WN18で訓練データを半分にした場合、標準のL1正則化と比較してより顕著な性能向上が見られ、データ効率性の向上が裏付けられた。
• 合成データを用いた実験により、意図した通り対称的および反対称的なスコア関数を正しく学習していることが確認された。
• 関係ベクトル成分の可視化から、対称性スコアと虚部のスパarsity（対称的関係）、および実部のスパarsity（反対称的関係）の強い相関が観察され、手法の意図した挙動が妥当であることが裏付けられた。
• FB15kにおける8回の試行でMRRスコアの分散が低く抑えられ、ランダム初期化に対しても性能が安定していることが示された。
• FB15kおよびWN18の両方のデータセットで、アンサンブルComplExおよび標準のL1正則化付きComplExと比較して、本手法は全評価指標で一貫して優れた性能を示した。