[論文レビュー] Notes on Low-rank Matrix Factorization

Lu, Yuan, Yang, Jie|arXiv (Cornell University)|Jun 30, 2015

Sparse and Compressive Sensing Techniques参考文献 16被引用数 6

ひとこと要約

本稿は、低ランク行列因子分解（MF）の包括的な理論的・アルゴリズム的レビューを提供しており、基本的MF、非負MF、直交非負MFをカバーしている。逐次最小化と勾配ベース手法を用いて最適化ルールを導出し、収束性を証明するとともに、潜在空間の強化と変換を統合することで、スパース行列補完、正則化、半教師あり学習へのMFの拡張を実現する。

ABSTRACT

Low-rank matrix factorization (MF) is an important technique in data science. The key idea of MF is that there exists latent structures in the data, by uncovering which we could obtain a compressed representation of the data. By factorizing an original matrix to low-rank matrices, MF provides a unified method for dimension reduction, clustering, and matrix completion. In this article we review several important variants of MF, including: Basic MF, Non-negative MF, Orthogonal non-negative MF. As can be told from their names, non-negative MF and orthogonal non-negative MF are variants of basic MF with non-negativity and/or orthogonality constraints. Such constraints are useful in specific senarios. In the first part of this article, we introduce, for each of these models, the application scenarios, the distinctive properties, and the optimizing method. By properly adapting MF, we can go beyond the problem of clustering and matrix completion. In the second part of this article, we will extend MF to sparse matrix compeletion, enhance matrix compeletion using various regularization methods, and make use of MF for (semi-)supervised learning by introducing latent space reinforcement and transformation. We will see that MF is not only a useful model but also as a flexible framework that is applicable for various prediction problems.

研究の動機と目的

• 低ランク行列因子分解の主要な変種を体系的にレビュー・統合すること、すなわち、基本的MF、非負MF、直交非負MFを含む。
• 各MF変種に対して収束保証のある逐次最適化アルゴリズムを導出し、正当化すること。
• 正則化と潜在空間変換を統合することで、MFをスパース行列補完と半教師あり学習に拡張すること。
• 次元削減、クラスタリング、予測タスクの統合フレームワークとしてのMFの柔軟性を示すこと。

提案手法

• FrobeniusノルムとTikhonov正則化を用いて基本的MFの最適化ルールを導出し、目的関数を行列微積分に適したトレース形式に変換する。
• 行列微積分とトレース微分を適用して、UとVに関する目的関数の勾配を計算し、逐次勾配降下法の更新を可能にする。
• KKT条件とラグランジュ緩和を用いて、非負制約が存在する場合のUとVの乗法的更新ルールを導出する。
• 共有のユーザー特徴変換（WとV行列を介して）を用いて、リツイート行動、ユーザーの意見、感情の予測を統合的に予測する包括的モデルを提案する。
• 意見と感情を潜在ユーザー表現の線形関数としてモデル化することで、潜在空間の強化と変換を統合する。
• WにL1正則化、Frobeniusノルムを用いて正則化を実装し、スパースかつ安定した解を得る。

実験結果

リサーチクエスチョン

• RQ1 低ランク行列因子分解は、非負性と直交性制約を体系的にどのように拡張できるか、またその解釈可能性と安定性に与える影響は何か？
• RQ2 非負MFおよび直交非負MFにおける逐次最適化の収束性と更新ルールは何か？
• RQ3 欠損データを伴うスパース行列補完に、MFをどのように適応させ、正則化を統合できるか？
• RQ4 意見や感情といった補助変数を統合することで、MFは半教師あり学習をどのように拡張できるか？
• RQ5 潜在空間変換と強化は、マルチタスク予測のためのMFをどのように向上させるか？

主な発見

• KKT条件とラグランジュ緩和を用いて、非負制約下で収束を保証する閉形式の乗法的更新ルールをUとVについて導出した。
• 最適化フレームワークはバッチ更新と確率的更新の両方をサポートしており、後者は個々の要素に基づいて更新されるため、よりデータ効率的である。
• スパース行列補完において、欠損エントリを処理するためにバイナリマスクOを導入し、目的関数を観測済みデータにのみ対応するように調整した。
• 包括的モデル（式56）は、共有の潜在ユーザー表現FW^Tを介してリツイート予測、意見、感情のモデリングを統合し、共同学習を可能にした。
• λ₁が無限大に設定された場合、FW^T = Oが強制され、意見がリツイートと感情の両方に影響を与えるという因果仮定が妥当であると解釈された。
• WにL1正則化を適用することでスパarsityが促進され、W、V、SにTikhonov正則化を適用することで数値的安定性と一般化性能が向上した。