[論文レビュー] Harmonic Mean Iteratively Reweighted Least Squares for Low-Rank Matrix Recovery

Christian Kümmerle, Juliane Sigl|arXiv (Cornell University)|Mar 15, 2017

Sparse and Compressive Sensing Techniques参考文献 54被引用数 18

ひとこと要約

本稿では、不完全な線形観測からの低ランク行列回復のための新しい反復重み付き最小二乗法（HM-IRLS）を提案する。非凸なシュタイント-$p$準ノルム（$0 < p < 1$）を最小化するために、調和平均に基づく重み行列を用いることで、最先端の手法よりもはるかに少ない測定回数でほぼ完全な回復を達成し、核空間性質のもとで局所的に超線形収束を示す。また、他の手法が失敗する困難な状況においても、経験的にグローバル収束が観察される。

ABSTRACT

We propose a new iteratively reweighted least squares (IRLS) algorithm for the recovery of a matrix $X \in \mathbb{C}^{d_1 imes d_2}$ of rank $r \ll\min(d_1,d_2)$ from incomplete linear observations, solving a sequence of low complexity linear problems. The easily implementable algorithm, which we call harmonic mean iteratively reweighted least squares (HM-IRLS), optimizes a non-convex Schatten-$p$ quasi-norm penalization to promote low-rankness and carries three major strengths, in particular for the matrix completion setting. First, we observe a remarkable global convergence behavior of the algorithm's iterates to the low-rank matrix for relevant, interesting cases, for which any other state-of-the-art optimization approach fails the recovery. Secondly, HM-IRLS exhibits an empirical recovery probability close to $1$ even for a number of measurements very close to the theoretical lower bound $r (d_1 +d_2 -r)$, i.e., already for significantly fewer linear observations than any other tractable approach in the literature. Thirdly, HM-IRLS exhibits a locally superlinear rate of convergence (of order $2-p$) if the linear observations fulfill a suitable null space property. While for the first two properties we have so far only strong empirical evidence, we prove the third property as our main theoretical result.

研究の動機と目的

• 核ノルム最小化のような凸緩和法の限界を解決すること。これらの手法は過剰なオーバーサンプリングを要し、大規模な問題に対して計算が高コストである。
• 経験的回復性能を向上させ、低ランク行列回復の理論的下界を下回る測定回数を実現すること。
• 強いグローバル収束性と局所的高速収束率を有する非凸最適化アプローチを開発すること。
• シュタイント-$p$最小化の反復重み付き最小二乗法における安定性と収束性を向上させる、新しい調和平均重みスキームを導入すること。

提案手法

• 反復の特異値分解に基づく重み行列を用いて、調和平均に基づく重み行列を用いて重み付き最小二乗問題の系列を解く。
• 行列変数 $X$、補助変数 $Z$、正則化パrameter $\epsilon$ を含む交互最小化スキームにより、$0 < p < 1$ におけるシュタイント-$p$準ノルムを最小化する。
• 重み行列は左特異値と右特異値に基づく重み行列の調和平均として定義され、行空間と列空間に対する対称的取り扱いを保証する。
• 非凸シュタイント-$p$ノルムを近似し、悪条件を避けるために、減少する $\epsilon$ を用いた継続戦略を採用する。
• 収束性は、単調に減少し下界に有界な補助汎関数 $\mathcal{J}_p(X, \epsilon, Z)$ を用いて分析され、反復列の収束を保証する。
• 理論的分析により、核空間性質のもとで、HM-IRLSは局所的に $2-p$ 階の超線形収束を示すことが確立され、困難な回復事例において経験的にグローバル収束が観察される。

実験結果

リサーチクエスチョン

• RQ1 最先端の凸および非凸手法が失敗する状況において、非凸IRLSアルゴリズムが真の低ランク解へのグローバル収束を達成できるか？
• RQ2 調和平均に基づく重みの使用が、情報理論的下界を下回る測定回数にまで回復性能を向上させ、測定回数を削減できるか？
• RQ3 標準的な核空間条件のもとで、提案されたHM-IRLSアルゴリズムの局所的収束速度は何か？
• RQ4 低ランク行列回復におけるIRLSにおける、調和平均重み戦略は、標準的な列または行再重み付け戦略と比べてどのように異なるか？

主な発見

• HM-IRLSは、理論的下界 $r(d_1 + d_2 - r)$ に非常に近い測定回数でさえも、回復確率がほぼ1に近づくことを経験的に示し、他の実行可能な手法を著しく上回る。
• 既存の最先端の最適化アプローチが真の低ランク行列を回復できない困難な状況においても、HM-IRLSは顕著なグローバル収束行動を示す。
• 核空間性質のもとで、HM-IRLSは $2 - p$ 階の局所的超線形収束を示し、これは線形収束よりも速く、$p$ が小さくなるほど改善する。
• 理論的分析により、HM-IRLSが生成する反復列の系列が、補助汎関数 $\mathcal{J}_p$ に関して単調に減少することが証明され、臨界点への収束が保証される。
• 調和平均重み行列の構築により、行空間と列空間に対する対称的取り扱いが保証され、列または行のみの再重み付け戦略に内在するバイアスを回避する。
• アルゴリズムは容易に実装可能であり、各反復で低複雑度の線形システムを1つだけ解けばよく、大規模な問題に対しても計算的に効率的である。