[論文レビュー] Linearized Alternating Direction Method with Adaptive Penalty for Low-Rank Representation

Zhouchen Lin, Risheng Liu+1 more|arXiv (Cornell University)|Sep 2, 2011

Sparse and Compressive Sensing Techniques参考文献 16被引用数 753

ひとこと要約

本稿では、低ランク表現（LRR）を効率的に解くために、線形化された交替方向乗数法（ADM）と適応的ペナルティを組み合わせたLADMAPを提案する。二次ペナルティを線形化し、適応的ペナルティ更新を用いることで、計算量をO(n³)からO(rn²)に削減し、従来の最先端手法よりも高速に収束する大規模LRR応用が可能になる。

ABSTRACT

Many machine learning and signal processing problems can be formulated as lin-early constrained convex programs, which could be efficiently solved by the alter-nating direction method (ADM). However, usually the subproblems in ADM are easily solvable only when the linear mappings in the constraints are identities. To address this issue, we propose a linearized ADM (LADM) method by linearizing the quadratic penalty term and adding a proximal term when solving the sub-problems. For fast convergence, we also allow the penalty to change adaptively according a novel update rule. We prove the global convergence of LADM with adaptive penalty (LADMAP). As an example, we apply LADMAP to solve low-rank representation (LRR), which is an important subspace clustering technique yet suffers from high computation cost. By combining LADMAP with a skinny SVD representation technique, we are able to reduce the complexity O(n3) of the original ADM based method to O(rn2), where r and n are the rank and size of the representation matrix, respectively, hence making LRR possible for large scale applications. Numerical experiments verify that for LRR our LADMAP based methods are much faster than state-of-the-art algorithms. 1

研究の動機と目的

• 既存の交替方向乗数法（ADM）による低ランク表現（LRR）の高い計算コストを軽減すること。
• 線形写像が恒等写像でない場合にのみ解けるADMの部分問題の制限を克服すること。
• 収束を速くし、効率を向上させるために、適応的ペナルティを用いた線形化ADMの変種を開発すること。
• 大規模応用を想定し、LRRの計算量をO(n³)からO(rn²)に削減すること。
• 大規模機械学習および信号処理タスクにおけるLRRの実用的導入を可能にすること。

提案手法

• 増大ラグランジュ関数内の二次ペナルティ項を線形化することで、線形化交替方向乗数法（LADM）を提案する。
• 数値的安定性と収束性を向上させるために、部分問題に近似項を導入する。
• 収束の進行に応じてペナルティパラメータを動的に調整する適応的ペナルティ更新ルールを採用する。
• 計算コストを削減するために、LADMAPをスキンニーサイズのSVD表現技術と組み合わせる。
• 低ランク行列最適化の構造を活用して、部分問題を効率的に解く。
• 標準的な仮定の下で、提案されたLADMAPアルゴリズムのグローバル収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 適応的ペナルティを用いた線形化ADMは、従来のADM手法と比較して、低ランク表現においてより速い収束を達成できるか？
• RQ2 解の正確性を保ちながら、LRRの計算量をO(n³)からO(rn²)に削減する方法は何か？
• RQ3 適応的ペナルティ更新が、アルゴリズムの収束速度とロバスト性に与える影響は何か？
• RQ4 標準ADMが高コストのため失敗する大規模データセットにおいて、提案手法は効果的にスケーリングできるか？
• RQ5 線形化とスキンニーサイズのSVDの組み合わせが、低ランク表現の効率をどのように向上させるか？

主な発見

• LADMAPは標準的な仮定の下でグローバル収束を達成し、信頼性の高い解の品質を保証する。
• LRRの計算量はO(n³)からO(rn²)に削減され、ここでrはランク、nは行列サイズを表す。
• 提案手法は、大規模データセットにおける実行時間の面で、最先端のアルゴリズムを著しく上回る。
• 数値実験により、LADMAPは従来のADMベースの手法よりもLRRに対して高速に収束することが確認された。
• 適応的ペナルティ更新ルールは、解の正確性を損なわせることなく収束速度を向上させる。