[論文レビュー] Online Optimization for Max-Norm Regularization

Jie Shen, Huan Xu+1 more|arXiv (Cornell University)|Jun 12, 2014

Sparse and Compressive Sensing Techniques被引用数 25

ひとこと要約

本稿では、最大ノルム正則化行列分解のオンラインアルゴリズムを提案する。最大ノルムを行列因子分解による基底および係数成分に再定式化することで、基底をメモリにのみ保持することにより、大規模データのスケーラブルでメモリ効率の良い処理を可能にする。この手法は、期待損失関数の停留点に理論的に収束し、核ノルムソルバーよりも効率性とロバスト性に優れる。

ABSTRACT

Max-norm regularizer has been extensively studied in the last decade as it promotes an effective low-rank estimation for the underlying data. However, such max-norm regularized problems are typically formulated and solved in a batch manner, which prevents it from processing big data due to possible memory budget. In this paper, hence, we propose an online algorithm that is scalable to large-scale setting. Particularly, we consider the matrix decomposition problem as an example, although a simple variant of the algorithm and analysis can be adapted to other important problems such as matrix completion. The crucial technique in our implementation is to reformulating the max-norm to an equivalent matrix factorization form, where the factors consist of a (possibly overcomplete) basis component and a coefficients one. In this way, we may maintain the basis component in the memory and optimize over it and the coefficients for each sample alternatively. Since the memory footprint of the basis component is independent of the sample size, our algorithm is appealing when manipulating a large collection of samples. We prove that the sequence of the solutions (i.e., the basis component) produced by our algorithm converges to a stationary point of the expected loss function asymptotically. Numerical study demonstrates encouraging results for the efficacy and robustness of our algorithm compared to the widely used nuclear norm solvers.

研究の動機と目的

• 大規模データ環境下におけるバッチ最大ノルム正則化のスケーラビリティ制限（高いメモリ要件）を解消すること。
• 最大ノルム正則化をオンライン最適化フレームワークに再定式化することで、ストリーミングまたは大規模データのオンライン処理を可能にすること。
• サンプル数に依存しない基底成分のみを保存する、メモリ効率の良いアルゴリズムの開発。
• 解の系列が期待損失関数の停留点に理論的に収束することの保証。
• 実用的状況下で広く使われている核ノルムソルバーよりも優れた性能とロバスト性を示すこと。

提案手法

• 基底行列と係数行列を含む等価な行列因子分解として最大ノルムを再定式化する。
• 基底成分をメモリに保持し、各入力サンプルに対して基底と係数の間を交互に最適化する。
• データを逐次処理するオンライン更新戦略を用い、基底と係数を段階的に更新する。
• 因子分解された成分に対して交互最適化を適用し、係数更新時には基底を固定し、逆に基底更新時には係数を固定する。
• 因子分解の構造を活用して、メモリ使用量をサンプル数から分離し、スケーラビリティを実現する。
• 基底成分の系列が期待損失関数の停留点に漸近的に収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 最大ノルム正則化は、大規模データ向けにスケーラブルなオンライン学習設定に効果的に適応可能か？
• RQ2 提案された因子分解に基づく最大ノルムの再定式化は、メモリ効率の良いオンライン最適化を可能にするか？
• RQ3 オンラインアルゴリズムは、期待損失関数の停留点に収束可能か？
• RQ4 提案手法の性能は、核ノルムに基づくソルバーよりも有効性およびロバスト性において優れているか？
• RQ5 実際の大量のサンプル処理において、アルゴリズムはロバストかつスケーラブルか？

主な発見

• 提案されたオンラインアルゴリズムは、サンプル数に依存しない基底成分のみを保存することで、スケーラブルな学習を実現する。
• アルゴリズムが生成する基底成分の系列は、期待損失関数の停留点に漸近的に収束する。
• 数値実験の結果、本手法は広く使われている核ノルムソルバーよりも有効性とロバスト性に優れていることが示された。
• 低メモリフットプリントと段階的更新メカニズムのおかげで、大規模データ環境下でも強力な性能を維持する。
• 因子分解に基づく再定式化により、最大ノルム正則化の理論的利点を損なわずに、効果的なオンライン最適化が可能になった。