[論文レビュー] All-at-once Optimization for Coupled Matrix and Tensor Factorizations

Evrim Acar, Tamara G. Kolda+1 more|arXiv (Cornell University)|May 17, 2011

Tensor decomposition and applications参考文献 37被引用数 245

ひとこと要約

本稿では、結合行列・テンソル因子分解（CMTF）のための、すべての要因行列を勾配ベースの手法で同時に最適化する新しい一括最適化手法CMTF-OPTを提案する。従来の交互最小二乗法（ALS）と比較して、特に不完全データの状況下でも、より高い精度と過剰要因分解へのロバスト性を達成する。

ABSTRACT

Joint analysis of data from multiple sources has the potential to improve our understanding of the underlying structures in complex data sets. For instance, in restaurant recommendation systems, recommendations can be based on rating histories of customers. In addition to rating histories, customers' social networks (e.g., Facebook friendships) and restaurant categories information (e.g., Thai or Italian) can also be used to make better recommendations. The task of fusing data, however, is challenging since data sets can be incomplete and heterogeneous, i.e., data consist of both matrices, e.g., the person by person social network matrix or the restaurant by category matrix, and higher-order tensors, e.g., the "ratings" tensor of the form restaurant by meal by person. In this paper, we are particularly interested in fusing data sets with the goal of capturing their underlying latent structures. We formulate this problem as a coupled matrix and tensor factorization (CMTF) problem where heterogeneous data sets are modeled by fitting outer-product models to higher-order tensors and matrices in a coupled manner. Unlike traditional approaches solving this problem using alternating algorithms, we propose an all-at-once optimization approach called CMTF-OPT (CMTF-OPTimization), which is a gradient-based optimization approach for joint analysis of matrices and higher-order tensors. We also extend the algorithm to handle coupled incomplete data sets. Using numerical experiments, we demonstrate that the proposed all-at-once approach is more accurate than the alternating least squares approach.

研究の動機と目的

• 行列と高次元テンソルという異種のデータソースを統合的に統合し、一貫した潜在的構造を同定するフレームワークを構築すること。
• CMTFにおける逐次的アルゴリズムの限界を克服するため、局所最適解を回避し収束性を向上させる、同時に最適化を行う戦略を提案すること。
• 不完全なデータセットを扱うために、テンソルおよび行列内の欠損値をサポートする最適化フレームワークを拡張すること。
• 推薦システムや医療データ統合などの実世界の応用において、モデルの解釈性と精度を向上させること。

提案手法

• テンソルにはCPモデル（CANDECOMP/PARAFAC）を、行列には行列因子分解を用い、すべての要因行列について一括で最小二乗最適化問題として定式化する。
• すべての要因行列を逐次的ではなく、同時に更新する勾配ベースの最適化アルゴリズムCMTF-OPTを開発する。
• 観測済みのエントリに重みを付けることで、欠損値を扱えるように拡張したCMTF-WOPTを導入する。
• テンソルおよび行列の再構成誤差を測るためのフロベニウスノルムを用い、統一された目的関数を実現する。
• 線分探索を併用した一次の最適化手法を適用し、パrameter更新時の収束性と安定性を確保する。
• 共通の要因行列を共有する複数の結合データセットを扱えるように、目的関数を一般化する。

実験結果

リサーチクエスチョン

• RQ1 一括最適化戦略は、従来の交互最小二乗法（ALS）と比較して、結合行列・テンソル因子分解における精度とロバスト性の面で優れているか？
• RQ2 要因数Rが過剰に推定された場合（すなわち過剰要因分解時）、提案手法CMTF-OPTはどのように性能を示すか？
• RQ3 CMTF-OPTアルゴリズムは、テンソルおよび行列に欠損値を含む不完全なデータセットをどの程度効果的に処理できるか？
• RQ4 すべての要因行列を同時に最適化することで、逐次的手法と比較して収束性が向上し、初期値への感受性が低下するか？
• RQ5 異なる損失関数や制約（例：非負性）は、CMTFモデルの性能と解釈性にどのような影響を与えるか？

主な発見

• 合成データにおいてη = 0.10の条件下で、CMTF-OPTは真の因子分解を100%の成功率で回復したのに対し、ALSは90.0%であった。
• R+1個の成分において、CMTF-OPTは高い精度（96.7% FMS）と低い誤差（3.3e-1）を維持したが、ALSは成功率が3.3%に低下した。
• η = 0.25の場合、CMTF-OPTはR+1のランクで86.7% FMSを達成し、誤差は無視できるほど小さく（6.4e-9）、一方ALSは成功率がたった13.3%であった。
• 欠損データが存在する状況（η = 0.35）において、CMTF-OPTはR+1のランクで46.7% FMSを維持し、誤差は極めて小さく（1.7e-9）であった。これはALS（6.7%成功率）を著しく上回った。
• 一括最適化アプローチは、Rが過剰に推定されても、安定した性能を維持するという優れたロバスト性を示した。
• 数値実験により、勾配ベースの一括最適化が、特に不完全データ環境下では、交互最小二乗法よりも精度と信頼性に優れていることが確認された。