[論文レビュー] Alternating Iteratively Reweighted Minimization Algorithms for Low-Rank Matrix Factorization

Paris V. Giampouras, Athanasios A. Rontogiannis+1 more|arXiv (Cornell University)|Oct 5, 2017

Sparse and Compressive Sensing Techniques参考文献 27被引用数 3

ひとこと要約

本稿では、行列因子の列スパarsityを新たな再重み付けスキームを通じて共同で誘導することにより、低ランク性を促進する、反復的再重み付け最小化アルゴリズムを提案する。この手法は、非活性な列を pruning することで計算複雑度を時間とともに低減し、Movielens 10M などの大規模データセットにおいて、行列補完、ノイズ除去、非負値行列因子分解の分野で、収束が速く、実行時間が短いという、最先端の性能を達成する。

ABSTRACT

Nowadays, the availability of large-scale data in disparate application domains urges the deployment of sophisticated tools for extracting valuable knowledge out of this huge bulk of information. In that vein, low-rank representations (LRRs) which seek low-dimensional embeddings of data have naturally appeared. In an effort to reduce computational complexity and improve estimation performance, LRR has been viewed via a matrix factorization (MF) perspective. Recently, low-rank MF (LRMF) approaches have been proposed for tackling the inherent weakness of MF i.e., the unawareness of the dimension of the low-dimensional space where data reside. Herein, inspired by the merits of iterative reweighted schemes for rank minimization, we come up with a generic low-rank promoting regularization function. Then, focusing on a specific instance of it, we propose a regularizer that imposes column-sparsity jointly on the two matrix factors that result from MF, thus promoting low-rankness on the optimization problem. The problems of denoising, matrix completion and non-negative matrix factorization (NMF) are redefined according to the new LRMF formulation and solved via efficient Newton-type algorithms with proven theoretical guarantees as to their convergence and rates of convergence to stationary points. The effectiveness of the proposed algorithms is verified in diverse simulated and real data experiments.

研究の動機と目的

• 大規模データ応用における凸的低ランク行列回復手法の高い計算複雑度に対処すること。
• 最適化の過程で行列ランクが低下しても、既存の非凸行列因子分解手法では反復ごとの計算複雑度が固定されているという問題を克服すること。
• 行列因子分解内に、段階的な複雑度低減を可能にする柔軟な非凸低ランク促進正則化枠組みを構築すること。
• 単一の再重み付けに基づく定式化によって、既存の低ランクMFアプローチを統一的かつ一般化すること。
• 行列補完、ノイズ除去、非負値行列因子分解という多様な問題において、提案フレームワークの有効性を示すこと。

提案手法

• 行列因子のフロベニウスノルムの二乗和の反復的再重み付け最小化に基づく一般的な非凸正則化関数を導入する。
• 両因子に共通の再重み付け行列を適用することにより、列スパarsityを促進する共同正則化項を提案し、同時に列の消去を促進する。
• 得られた非凸最適化問題を解くために、ブロック逐次上界最小化（BSUM）フレームワークを採用する。
• 各問題インスタンスについて、静止点への収束が保証されたニュートン型アルゴリズムを開発する。
• 最適化の進行に伴い、反復ごとに再重み付けスキームを動的に適応させることで、有効ランクを低減し、結果として反復ごとの計算コストを低減する。
• 行列補完、ノイズ除去、非負値行列因子分解（NMF）の3つの主要な問題に、それぞれのアルゴリズム実装を用いてフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 反復的再重み付け行列因子分解フレームワークは、非活性な列を動的に pruning することで、時間経過とともに計算複雑度を低減できるか？
• RQ2 両行列因子に共通のスパarsity促進正則化を適用することで、標準的な核ノルムやシュタット-pノルム緩和法よりも優れた低ランク近似が得られるか？
• RQ3 大規模行列補完タスクにおいて、提案されたAIRLS-MCアルゴリズムは、softImpute-ALSと比較して収束速度と総実行時間の両面で優れているか？
• RQ4 提案されたAIRLS-NMFアルゴリズムは、ガウスノイズ仮定下でも過学習を避けながら、信号分解における正しいコンポーネント数を自動的に特定できるか？
• RQ5 提案されたフレームワークは、既存の最先端の低ランクMF手法をどの程度一般化し、包含するか？

主な発見

• Movielens 10M データセットにおいて、AIRLS-MCは、softImpute-ALSと比較して総実行時間を72%短縮（54.4分 vs. 192.6分）したが、反復回数は多く要した。
• ランク低減の開始後、AIRLS-MCは反復あたりの時間を顕著に短縮した。これは、列 pruning による動的複雑度低減の効果を示している。
• 音楽信号分解のタスクでは、AIRLS-NMFは6つのコンポーネント（ピアノの4音と2つのアーティファクト）を正しく同定したが、ARD-NMFは20個のコンポーネントを推定し、過学習を示した。
• 提案されたAIRLS-NMFはガウスノイズ仮定下でARD-NMFを上回り、より正確なノイズ統計を仮定するARD-IS-NMFと同等の性能を達成した。
• 提案されたフレームワークは、シュタット-pノルムに基づく手法や変分的核ノルム近似法といった既存手法を、特別なケースとして包含する。
• フレームワークで用いられるニュートン型アルゴリズムは高速収束を示し、理論的に静止点への収束が保証されている。