[論文レビュー] Logistic Tensor Factorization for Multi-Relational Data

Maximilian Nickel, Volker Tresp|arXiv (Cornell University)|Jun 10, 2013

Tensor decomposition and applications参考文献 6被引用数 38

ひとこと要約

本稿では、多関係的データのための確率的拡張として、Rescalモデルのロジスティックテンソル因子分解を提案する。最小二乗損失の代わりにロジスティック損失を採用することで、二値の隣接テンソルをより適切にモデル化する。Kinships や Bacteriome といったベンチマークデータセット上で、リンク予測性能が著しく向上し、元の Rescal-ALS 手法よりも高い AUPRC スコアを達成した。

ABSTRACT

Tensor factorizations have become increasingly popular approaches for various learning tasks on structured data. In this work, we extend the RESCAL tensor factorization, which has shown state-of-the-art results for multi-relational learning, to account for the binary nature of adjacency tensors. We study the improvements that can be gained via this approach on various benchmark datasets and show that the logistic extension can improve the prediction results significantly.

研究の動機と目的

• 二値の隣接テンソルをより適切に扱えるように、Rescal をバイナリ関係的データに適合させるために、多関係的データのモデリングを改善すること。
• 標準的な Rescal におけるガウス分布の仮定と、実際の二値的関係データのベルヌーイ分布の性質との不一致を是正すること。
• リンク予測タスクにおいて、最小二乗法ではなくロジスティック回帰に基づく因子分解が、より優れた予測性能を示すかどうかを評価すること。
• 元の Rescal-ALS アルゴリズムと比較して、ロジスティック拡張のスケーラビリティと実用的妥当性を調査すること。

提案手法

• 隣接テンソルの各要素が、潜在的要因の積み重ねをロジスティック関数でモデル化したベルヌーイ分布に従う確率的モデルとして Rescal を定式化する。
• ロジスティック損失と潜在的要因 A および R_k のフロベニウスノルム正則化を組み込んだ対数尤度の目的関数を導出する。
• L-BFGS 最適化を用いて目的関数を最小化し、バックプロパゲーションにより A および R_k の勾配を計算する。
• 10分割交差検証を用いて多関係的データセットに本手法を適用し、予測性能を正確再現曲線下積分（AUPRC）で評価する。
• エンティティの潜在的ベクトルと関係行列のドット積のロジスティック変換により予測値を算出する：σ(a_i^T R_k a_j)。
• 各関係ごとに学習可能な非対称な r×r 行列 R_k を用いたフルマトリックス因子分解アプローチを採用し、有向関係のモデリングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 Rescal の最小二乗損失をロジスティック損失関数に置き換えることで、二値の多関係的データにおけるリンク予測性能が向上するか？
• RQ2 多様なベンチマークデータセット上で、ロジスティック拡張された Rescal は元の Rescal-ALS と比較して、予測精度にどの程度差が現れるか？
• RQ3 テンソル因子分解において、ガウス分布の仮定ではなくベルヌーイ分布の尤度を用いることで、バイナリデータのモデリングにどのような影響が生じるか？
• RQ4 疎な、あるいは挑戦的な関係的データセット（例：Kinships や Bacteriome）において、ロジスティック因子分解はどの程度性能向上をもたらすか？

主な発見

• ロジスティック拡張（Rescal-Logit）は、全テストデータセットで Rescal-ALS よりも高い AUPRC スコアを達成し、特に Kinships（0.981 対 0.966）と Bacteriome（0.938 対 0.927）で顕著な改善を示した。
• Nations データセットでは、AUPRC が 0.848 から 0.851 にわずかに向上し、密度の高いデータに対して一貫したが控えめな改善が得られた。
• Presidents データセットでは、AUPRC が 0.805 から 0.800 にわずかに低下したため、データが疎またはノイズが多い場合にはロジスティックモデルがやや効果が薄い可能性がある。
• Bacteriome データセット（単一関係）で、Rescal-Logit は顕著な改善を示し、機能的相互作用データに対して優れた一般化性能を示した。
• 結果から、バイナリデータをロジスティック回帰によるベルヌーイ尤度でモデリングすることで、ガウスノイズを仮定するよりもより正確な予測が可能であることが示された。
• 性能向上は見られたが、現在の Rescal-Logit 実装は、最適化中に密行列を計算する必要があるため、Rescal-ALS よりもスケーラビリティに劣る。