[論文レビュー] A Semantic Matching Energy Function for Learning with Multi-relational Data

Xavier Glorot, Antoine Bordes+2 more|arXiv (Cornell University)|Jan 15, 2013

Advanced Graph Neural Networks参考文献 2被引用数 32

ひとこと要約

本稿では、関係型変換に依存する関係タイプに特化した変換を用いて、複雑な関係的相互作用をモデル化するニューラルネットワークを用いて、エンティティおよび関係タイプを共有の低次元ベクトル空間に埋め込むための意味的マッチングエナジー（SME）関数を提案する。双線形SMEの変種は、親族関係ネットワークのような複雑な関係的構造における三重相互作用をモデル化する点で特に優れた性能を示し、リンク予測タスクで最先端の性能を達成している。

ABSTRACT

Large-scale relational learning becomes crucial for handling the huge amounts of structured data generated daily in many application domains ranging from computational biology or information retrieval, to natural language processing. In this paper, we present a new neural network architecture designed to embed multi-relational graphs into a flexible continuous vector space in which the original data is kept and enhanced. The network is trained to encode the semantics of these graphs in order to assign high probabilities to plausible components. We empirically show that it reaches competitive performance in link prediction on standard datasets from the literature.

研究の動機と目的

• ノイズが多く、多様性に富み、大規模なマルチリレーショナルデータからの意味のある表現を学ぶという課題に対処すること。
• 関係とエンティティを同じベクトル空間に統合することで、両者の対称的な取り扱いを可能にするとともに、関係タイプの増加に伴うパラメータ数の削減を実現すること。
• 有効なトリプレット（主語、関係、目的語）に低いエネルギーを割り当てるエネルギーに基づくモデルを構築し、関係グラフ内の構造的および意味的パターンを捉えること。
• ニューラルネットワークのパrameter化を通じて構造的で関係に敏感な表現を学習することで、リンク予測における一般化性能を向上させること。

提案手法

• 各エンティティおよび関係タイプは、バックプロパゲーションにより学習される共有のd次元空間に埋め込まれる。
• エネルギー関数は、関係タイプに依存するパrameter化関数gを用いて、関係変換後の左側および右側エンティティ埋め込み間のマッチングスコアを計算する。
• 2つの変種を提案する：SME（線形）、線形変換を用い、SME（双線形）、より洗練された相互作用モデリングのための3モードテンソル演算を用いる。
• エネルギーは、変換された埋め込み間のドット積として計算される：E = - (W_l E_lhs^T + W_l2 E_rel^T + b_l^T)^T (W_r E_rhs^T + W_r2 E_rel^T + b_r^T)。
• 学習には確率的勾配降下法を用い、正例トリプレットのエネルギーを負例よりも低くするようにランキング目的関数を最適化する。
• モデルは関係タイプをエンティティと同じ空間のベクトルとして扱うため、関係をエンティティとして直接モデル化可能であり、より柔軟な関係的推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エンティティおよび関係タイプの統一埋め込み空間が、マルチリレーショナルデータにおける表現学習を改善できるか？
• RQ2 エンティティと同じ空間に関係タイプをベクトルとしてモデル化することで、リンク予測タスクの性能にどのような影響を与えるか？
• RQ3 双線形相互作用機構は、線形モデルやビグラムベースのモデルと比較して、複雑な三重関係をよりよく捉えられるか？
• RQ4 本稿で提案するエネルギー関数は、テンソル因子分解や行列補完法と比較して、予測力および一般化性能において優れているか？
• RQ5 本モデルは、構造的で関係的なデータセットにおいて、観測済みトリプレットを超えてどの程度一般化できるか？

主な発見

• SME（双線形）は、3つのベンチマークデータセットすべてでSME（線形）を上回り、NationsデータセットではAUCが8.8%も向上した。
• Kinshipsデータセットでは、SME（双線形）はAUC 0.894を達成し、RESCALおよびCPを除くすべての手法を上回り、複雑な関係的構造における強力な性能を示した。
• UMLSでは、SME（双線形）はAUC 0.985を達成し、LFM（0.990）と同等の性能を示し、RESCAL（0.98）およびCP（0.95）を上回った。
• 双線形定式化は、被験者、関係、目的語の共同相互作用が重要となるような、複雑な三重相互作用を示すデータセット（例：Alyawarra親族システム）において特に効果的であった。
• 従来のモデルとは異なり、SMEは関係タイプをエンティティと同じ空間のベクトルとして扱うため、関係をエンティティとして直接モデル化可能であり、より柔軟な関係的推論を可能にする。
• 再構築に基づく学習とは異なり、予測エネルギー関数を用いるにもかかわらず、LFM や RESCAL などの行列ベースの手法と比較して競争力のある性能を示した。