[論文レビュー] Transformed Schatten-1 Iterative Thresholding Algorithms for Low Rank Matrix Completion

Shuai Zhang, Penghang Yin+1 more|arXiv (Cornell University)|Jun 14, 2015

Sparse and Compressive Sensing Techniques被引用数 3

ひとこと要約

本稿では、パラメータ $ a \in (0, \infty) $ を介してランクとノルムの間を補間する非凸な低ランク促進関数である変換されたシャットン-1（TS1）ペナルティを提案する。この手法は、グローバル最小値の閉形式しきい値関数と固定点表現を導出し、効率的な反復的しきい値関数アルゴリズム（TS1-s1 および TS1-s2）を可能にした。これらのアルゴリズムは、真のランクが既知または追加的手順で推定可能な場合に、最先端の手法を上回る性能を示す。

ABSTRACT

We study a non-convex low-rank promoting penalty function, the transformed Schatten-1 (TS1), and its applications in matrix completion. The TS1 penalty, as a matrix quasi-norm defined on its singular values, interpolates the rank and the nuclear norm through a nonnegative parameter a. We consider the unconstrained TS1 regularized low-rank matrix recovery problem and develop a fixed point representation for its global minimizer. The TS1 thresholding functions are in closed analytical form for all parameter values. The TS1 threshold values differ in subcritical (supercritical) parameter regime where the TS1 threshold functions are continuous (discontinuous). We propose TS1 iterative thresholding algorithms and compare them with some state-of-the-art algorithms on matrix completion test problems. For problems with known rank, a fully adaptive TS1 iterative thresholding algorithm consistently performs the best under different conditions with ground truth matrix being multivariate Gaussian at varying covariance. For problems with unknown rank, TS1 algorithms with an additional rank estimation procedure approach the level of IRucL-q which is an iterative reweighted algorithm, non-convex in nature and best in performance.

研究の動機と目的

• ランクと核ノルムの間を埋める非凸な低ランクペナルティを考案し、行列補完の性能を向上させること。
• TS1正則化問題のグローバル最小値の固定点表現と閉形式しきい値関数を導出すること。
• 固定点式に基づく効率的な反復的しきい値関数アルゴリズム（TS1-s1 および TS1-s2）を設計すること。
• さまざまな条件および既知／未知のランク設定下での低ランク行列回復および画像の穴埋めにおける性能を評価すること。
• IRucL-$ q $ などの最先端手法と比較して、精度および計算速度の観点からTS1アルゴリズムの性能を評価すること。

提案手法

• パラメータ $ a \in (0, \infty) $ を用いて、特異値上に定義される行列準ノルムとしての変換されたシャットン-1（TS1）ペナルティを提案。これは、$ a \to 0 $ のときランクに、$ a \to \infty $ のとき核ノルムに補間する。
• 特異値しきい値関数を用いて、非制約TS1正則化行列回復問題のグローバル最小値の固定点表現を導出する。
• TS1しきい値関数の閉形式解析的表現を確立。$ a \leq 1 $（亜臨界）では連続的であり、$ a > 1 $（超臨界）では不連続的である。
• 固定点方程式に基づき、特異値に対するソフトしきい値関数に類似した更新を用いる2つの反復的しきい値関数アルゴリズム（TS1-s1 および TS1-s2）を開発する。
• 真のランクが既知の問題において、TS1-s2で適応的パラメータ選択を実装し、収束性と精度を向上させる。
• 真のランクが未知の問題に対して、TS1-s1にランク推定手順を統合し、非凸手法IRucL-$ q $ に近い性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 ランクと核ノルムの間を補間する非凸ペナルティ関数が、凸代替手法よりも低ランク行列補完を改善できるか？
• RQ2 TS1ペナルティがすべてのパラメータ値において閉形式しきい値関数を有するか？これにより効率的な最適化が可能になるか？
• RQ3 TS1に基づく反復的しきい値関数アルゴリズムは、IRucL-$ q $ などの最先端手法と比較して、精度および速度の面で優れているか？
• RQ4 真の行列ランクが既知の状況で、TS1-s2における適応的パラメータチューニングが一貫して他のアルゴリズムを上回るか？
• RQ5 ランク推定を組み合わせたTS1-s1は、未知ランク状況下で非凸手法IRucL-$ q $ の性能にどの程度近づけるか？

主な発見

• 真のランクが既知の問題では、完全に適応的なTS1-s2アルゴリズムが、すべてのテスト分布（正規分布、一様分布、カイ二乗分布）で最高の精度と最速の収束を一貫して達成する。
• 真のランクが未知の低ランク行列回復において、ランク推定を組み合わせたTS1-s1は、文献において最高性能を示す非凸手法IRucL-$ q $ にほぼ匹敵する性能を発揮する。
• すべての $ a \in (0, \infty) $ に対してTS1しきい値関数が解析的に閉形式であるため、パラメータ領域全体にわたり効率的かつ安定した実装が可能である。
• 真のランクが既知の状況では、TS1-s2がすべてのテストされたアルゴリズムの中で計算速度および精度で最も優れており、特に高ランクおよび高共分散設定で顕著である。
• グローバル最小値の固定点表現により、安定的かつ収束性のある反復的更新が可能であり、広範な数値実験によって検証された。
• TS1アルゴリズムの性能は、多変量正規分布、$ (0,1) $ 一様分布、カイ二乗分布を含む多様な行列生成モデルに対して、ロバストである。