[論文レビュー] ADMiRA: Atomic Decomposition for Minimum Rank Approximation

Kiryung Lee, Yoram Bresler|ArXiv.org|May 1, 2009

Sparse and Compressive Sensing Techniques参考文献 16被引用数 18

ひとこと要約

この論文は、スパースベクトル回復のCoSaMPにインspiredされた、低ランク行列回復のためのグリーディアルゴリズムであるADMiRAを紹介する。ランク制限付き等長性性質（RIP-R）の下で性能保証を提供し、ノイズあり設定でも線形収束性と有界誤差を保証する。行列補完のようなスパースな測定演算子では、測定数に対して線形の計算複雑性を達成する。

ABSTRACT

We address the inverse problem that arises in compressed sensing of a low-rank matrix. Our approach is to pose the inverse problem as an approximation problem with a specified target rank of the solution. A simple search over the target rank then provides the minimum rank solution satisfying a prescribed data approximation bound. We propose an atomic decomposition that provides an analogy between parsimonious representations of a sparse vector and a low-rank matrix. Efficient greedy algorithms to solve the inverse problem for the vector case are extended to the matrix case through this atomic decomposition. In particular, we propose an efficient and guaranteed algorithm named ADMiRA that extends CoSaMP, its analogue for the vector case. The performance guarantee is given in terms of the rank-restricted isometry property and bounds both the number of iterations and the error in the approximate solution for the general case where the solution is approximately low-rank and the measurements are noisy. With a sparse measurement operator such as the one arising in the matrix completion problem, the computation in ADMiRA is linear in the number of measurements. The numerical experiments for the matrix completion problem show that, although the measurement operator in this case does not satisfy the rank-restricted isometry property, ADMiRA is a competitive algorithm for matrix completion.

研究の動機と目的

• 不十分な線形測定から低ランク行列を再構成する逆問題に取り組む。特にノイズありまたは近似的に低ランクの状況を想定する。
• ランク最小化のNP困難性を克服するため、凸緩和や半定値計画法を避ける、グリーディでアトム分解に基づくアプローチを提案する。
• スパースベクトル回復におけるCoSaMPの成功を、スパースベクトルと低ランク行列の間のアトム分解の類似性を用いて、低ランク行列回復へと拡張する。
• ランク制限付き等長性性質（RIP-R）の下で、反復回数の上限と誤差の上限を含む理論的性能保証を提供する。
• 特に行列補完のようなスパースな測定演算子において、測定数に対して線形にスケールする効率的な計算を達成する。

提案手法

• スパースベクトル表現に類似した、低ランク行列のアトム分解を提案する。ここでアトムはランク1の成分（単位ベクトルの外積）に対応する。
• 測定制約によって定義される可能な解集合内での最小ランク近似問題として回復問題を定式化し、グリーディなプルーリング戦略を用いる。
• 残差と最も相関の高いアトム（ランク1成分）を反復的に選択するグリーディアルゴリズムであるADMiRAを設計する。識別には切り捨てられた特異値分解（SVD）を用いる。
• 各反復で解を固定ランクにまで削減するためのしきい値処理ステップを導入し、アトム表現におけるスパarsityを保証する。
• 反復回数と近似解の誤差を制限するために、ランク制限付き等長性性質（RIP-R）を活用する。
• 残差エネルギーの減少に基づく停止基準を統合し、保証された誤差範囲内での収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 スパースベクトル回復のためのグリーディアルゴリズムを、アトム分解フレームワークを用いて低ランク行列のケースに成功裏に拡張できるか？
• RQ2 ノイズあり測定の下で、反復回数と誤差の上限という観点から、このようなグリーディアルゴリズムにどのような性能保証を確立できるか？
• RQ3 特にスパースな測定演算子（例：行列補完）において、提案手法の計算複雑性は測定数に対してどのようにスケーリングされるか？
• RQ4 ランク制限付き等長性性質を満たさない測定演算子であっても、ADMiRAは行列補完において競争力のある性能を達成できるか？
• RQ5 真の行列が正確に低ランクではなく、近似的に低ランクである場合、アルゴリズムはどのように振る舞うか？

主な発見

• ADMiRAは、反復回数が $ k_{\text{max}} = t \text{log}_{\beta}(1 + 4.3\sqrt{r/t}) $ で有界であるという性能保証を達成する。ここで $ t $ は真の行列のプロファイル、$ r $ はそのランクである。
• 反復回数 $ k \leq K $ の場合、近似誤差が $ \|X_0 - \widehat{X}_k\|_F \leq 15\|\nu\|_2 $ を満たすことが保証される。ここで $ K $ は反復回数の上限である。
• 近似的に低ランクの行列に対しては、誤差が $ \|X_0 - \widehat{X}\|_F < 17\epsilon $ で有界である。ここで $ \epsilon $ は切り捨て誤差とノイズエネルギーの合算である。
• 測定演算子がスパース（例：行列補完）である場合、測定数に対して線形の計算複雑性を示す。
• 数値実験では、測定演算子がランク制限付き等長性性質を満たさないにもかかわらず、ADMiRAは行列補完において競争力のある性能を示す。
• 半定値計画法の高コストを回避するため、切り捨てられたSVDを用いたグリーディなアトムプルーリングを採用し、より大きな問題へのスケーラビリティを実現する。