[論文レビュー] Large Margin Nearest Neighbor Embedding for Knowledge Representation

Miao Fan, Qiang Zhou+2 more|arXiv (Cornell University)|Apr 7, 2015

Advanced Graph Neural Networks参考文献 17被引用数 7

ひとこと要約

この論文は、h + r ≈ t となるように低次元ベクトル埋め込みを学習する知識表現モデルである Large Margin Nearest Neighbor Embedding (LMNNE) を提案する。正例のテイルエンティティを h + r に近づけ、負例のエンティティを大きなマージン以上に遠ざけることで、従来のモデルよりもパラメータの複雑さが低く、リンク予測およびトリプレット分類で最先端の性能を達成する。

ABSTRACT

Traditional way of storing facts in triplets ({\it head\_entity, relation, tail\_entity}), abbreviated as ({\it h, r, t}), makes the knowledge intuitively displayed and easily acquired by mankind, but hardly computed or even reasoned by AI machines. Inspired by the success in applying {\it Distributed Representations} to AI-related fields, recent studies expect to represent each entity and relation with a unique low-dimensional embedding, which is different from the symbolic and atomic framework of displaying knowledge in triplets. In this way, the knowledge computing and reasoning can be essentially facilitated by means of a simple {\it vector calculation}, i.e. ${\bf h} + {\bf r} \approx {\bf t}$. We thus contribute an effective model to learn better embeddings satisfying the formula by pulling the positive tail entities ${\bf t^{+}}$ to get together and close to {\bf h} + {\bf r} ({\it Nearest Neighbor}), and simultaneously pushing the negatives ${\bf t^{-}}$ away from the positives ${\bf t^{+}}$ via keeping a {\it Large Margin}. We also design a corresponding learning algorithm to efficiently find the optimal solution based on {\it Stochastic Gradient Descent} in iterative fashion. Quantitative experiments illustrate that our approach can achieve the state-of-the-art performance, compared with several latest methods on some benchmark datasets for two classical applications, i.e. {\it Link prediction} and {\it Triplet classification}. Moreover, we analyze the parameter complexities among all the evaluated models, and analytical results indicate that our model needs fewer computational resources on outperforming the other methods.

研究の動機と目的

• AI システムが記号的知識ベースを計算可能にするために、分散表現を学習することによる課題の解決。
• 事実をベクトル方程式 h + r ≈ t としてモデル化することで、知識表現の向上。
• 近接性とマージンの共同最適化を通じて、関係構造を捉える効率的かつ効果的な埋め込みモデルの開発。
• リンク予測やトリプレット分類などの下流タスクにおける性能を維持または向上させつつ、パラメータの複雑さを低減すること。

提案手法

• LMNNE は二つの目的関数を最適化する：正例のテイルエンティティ t⁺ を L2 距離で h + r に近づけること。
• 正例と負例のテイルエンティティ t⁻ の間に大きなマージン γ を設け、t⁻ を h + r から遠ざけること。
• スコア関数として ||h + r - t|| を使用し、正例ではこの距離を最小化し、負例では h + r - t⁻ との差が少なくとも γ 以上になるように制約を課す。
• 最適なエンティティおよび関係の埋め込みを学習するために、反復的な確率的勾配降下法（SGD）が用いられる。
• 関係をヘッドからテイルへのエンティティへの変換を表すベクトルとして扱い、ベクトル演算によって関係的推論をモデル化可能にする。
• パラメータの複雑さが O(ne*d + nr*d) であるため、大規模な知識ベースにおいてもスケーラブルである計算効率の高いモデルとして設計されている。

実験結果

リサーチクエスチョン

• RQ1 事実のトリプレットに対して、h + r ≈ t を満たすように分散埋め込みを効果的に学習できる知識表現モデルは存在するか？
• RQ2 正例と負例のテイルエンティティの間に大きなマージンを設けることで、知識推論タスクの一般化性能と性能が向上するか？
• RQ3 TransE や NTN、双線形モデルなどの最先端モデルと比較して、LMNNE は性能と効率の面で優れているか？
• RQ4 LMNNE の理論的パラメータ複雑さは他の埋め込みモデルと比較してどうなっており、より高い効率性を達成しているか？

主な発見

• LMNNE は、リンク予測およびトリプレット分類において最先端の性能を達成し、ベンチマークデータセットで TransE や他の最近のモデルを上回っている。
• FB15K データセットでは、LMNNE はトリプレット分類で 86.8% の精度を達成し、TransE の 85.8% や NTN の 66.7% を上回っている。
• WN11 では、LMNNE がトリプレット分類で 78.6% の精度を達成し、TransE の 77.5% や次に優れた手法（NTN）の 70.4% を上回っている。
• 深層ニューラルネットワークベースのモデル（NTN や双線形モデル）よりも低いパラメータの複雑さを実現しており、複雑さは O(ne*d + nr*d) であるため、スケーラビリティに優れている。
• FB13 および FB15K を含むすべての評価データセットで、LMNNE は距離モデル、ハダマードモデル、シングルレイヤーモデル、双線形モデルを上回る性能を示している。
• 解析結果から、LMNNE はテンソル演算や関係ごとの複数の重み行列を用いるような高次元相互作用を持つモデルよりも、より少ない計算リソースで実行可能であることが確認された。