[論文レビュー] Learning Latent Features with Pairwise Penalties in Matrix Completion.

Kaiyi Ji, Jian Tan+2 more|arXiv (Cornell University)|Feb 16, 2018

Sparse and Compressive Sensing Techniques参考文献 24被引用数 3

ひとこと要約

本稿では、非凸なペairwiseペナルティを用いることで、従来のL2ベースのグラフ正則化に起因する制限を克服し、潜在的特徴の学習を向上させる一般化された最適化フレームワークを提案する。この手法は、予測精度を向上させるとともに、理論的収束性と統計的誤差バウンドを提供し、合成データおよび実世界のデータにおいて、標準的なトレースノルム正則化法を上回る性能を発揮する。

ABSTRACT

Low-rank matrix completion (MC) has achieved great success in many real-world data applications. A latent feature model formulation is usually employed and, to improve prediction performance, the similarities between latent variables can be exploited by pairwise learning, e.g., the graph regularized matrix factorization (GRMF) method. However, existing GRMF approaches often use a squared L2 norm to measure the pairwise difference, which may be overly influenced by dissimilar pairs and lead to inferior prediction. To fully empower pairwise learning for matrix completion, we propose a general optimization framework that allows a rich class of (non-)convex pairwise penalty functions. A new and efficient algorithm is further developed to uniformly solve the optimization problem, with a theoretical convergence guarantee. In an important situation where the latent variables form a small number of subgroups, its statistical guarantee is also fully characterized. In particular, we theoretically characterize the complexity-regularized maximum likelihood estimator, as a special case of our framework. It has a better error bound when compared to the standard trace-norm regularized matrix completion. We conduct extensive experiments on both synthetic and real datasets to demonstrate the superior performance of this general framework.

研究の動機と目的

• 従来のL2ノルムに依存するグラフ正則化行列因子分解（GRMF）手法の限界、特に類似しないペairに敏感である点を是正すること。
• より強力な潜在的特徴学習を可能にする、幅広い（非）凸ペairwiseペナルティ関数をサポートする一般化された最適化フレームワークの開発。
• 理論的根拠に基づいた効率的で収束保証付きのアルゴリズムを、提案された最適化問題を解くために開発すること。
• 潜在変数が少数のサブグループを形成する場合に、このフレームワークの統計的誤差バウンドを確立すること。
• 標準的なトレースノルム正則化行列補完法と比較して、合成データおよび実世界のデータの両方で優れた実験的性能を示すこと。

提案手法

• 標準的なL2ペアワイズペナルティの代わりに、柔軟な（非）凸ペアワイズペナルティ関数のクラスを導入することで、潜在変数の類似度をよりよくモデル化する一般化された最適化フレームワークを提案する。
• 非凸最適化問題を解くために、交替方向乗数法（ADMM）に基づく効率的アルゴリズムを開発し、理論的収束保証を付与する。
• 複雑さ正則化付き最尤推定器をフレームワークの特別なケースとして組み込み、統計的誤差解析を可能にする。
• 潜在的特徴が少数のサブグループを形成すると仮定することで、推定器の性能をより洗練された理論的特徴付けが可能になる。
• さまざまなペアワイズペナルティ（非凸を含む）を扱える統一的なアルゴリズム的手法を採用し、問題固有の導出を必要としない。
• ADMMフレームワーク内での効率的計算を可能にするために、スチャール補完に基づく再定式化を採用する。

実験結果

リサーチクエスチョン

• RQ1 柔軟なペアワイズペナルティを備えた一般化されたフレームワークは、標準的なL2ベースの正則化を上回る行列補完性能を実現できるか？
• RQ2 予測誤差の観点から、提案手法はトレースノルム正則化行列補完法と比較してどのように性能を発揮するか？
• RQ3 非凸ペアワイズペナルティ下での提案アルゴリズムの理論的収束性はいかなるものか？
• RQ4 潜在変数が少数のサブグループを形成する場合、このフレームワークはよりタイトな統計的誤差バウンドを提供するか？
• RQ5 潜在変数のサブグループ構造を効果的に活用することで、予測精度が向上するか？

主な発見

• 提案フレームワークは、合成データおよび実世界のデータの両方で、標準的なトレースノルム正則化行列補完法を上回る優れた予測性能を達成する。
• 潜在変数が少数のサブグループを形成する場合、本フレームワークは標準的なトレースノルム正則化法よりもより良い統計的誤差バウンドを提供する。
• 非凸ペアワイズペナルティ下でも、理論的収束保証付きで定常点に収束することが確認された。
• 複雑さ正則化付き最尤推定器は、フレームワークの特別なケースとして実現され、標準的なトレースノルム正則化法よりも改善された誤差バウンドを達成する。
• 実験結果から、複数の実世界データセットにおいて一貫した予測精度の向上が確認され、特にペアワイズ類似度が明確な構造を持つ場合に顕著である。
• 非凸ペアワイズペナルティの使用により、類似しないペアの影響が軽減され、より頑健な潜在的特徴推定が可能になる。