[論文レビュー] Transformed Schatten-1 Iterative Thresholding Algorithms for Matrix Rank Minimization and Applications.

Shuai Zhang, Penghang Yin+1 more|arXiv (Cornell University)|Jun 14, 2015

Sparse and Compressive Sensing Techniques参考文献 28被引用数 4

ひとこと要約

本稿では、パラメータaを介してランクとノルムの間を補間する非凸なペナルティを用いて、低ランク行列回復のための変換されたシュワーツン-1（TS1）反復しきい値関数を提案する。閉形式のしきい値関数を導出し、真のランクが分かっているか、または適応的に推定される状況において、最先端の手法を上回る優れた性能を示す。

ABSTRACT

We study a non-convex low-rank promoting penalty function, the transformed Schatten-1 (TS1), and its applications in matrix completion. The TS1 penalty, as a matrix quasi-norm defined on its singular values, interpolates the rank and the nuclear norm through a nonnegative parameter a. We consider the unconstrained TS1 regularized low-rank matrix recovery problem and develop a fixed point representation for its global minimizer. The TS1 thresholding functions are in closed analytical form for all parameter values. The TS1 threshold values differ in subcritical (supercritical) parameter regime where the TS1 threshold functions are continuous (discontinuous). We propose TS1 iterative thresholding algorithms and compare them with some state-of-the-art algorithms on matrix completion test problems. For problems with known rank, a fully adaptive TS1 iterative thresholding algorithm consistently performs the best under different conditions with ground truth matrix being multivariate Gaussian at varying covariance. For problems with unknown rank, TS1 algorithms with an additional rank estimation procedure approach the level of IRucL-q which is an iterative reweighted algorithm, non-convex in nature and best in performance.

研究の動機と目的

• 凸緩和の限界を克服するため、非凸でランクを促進するペナルティ関数を導入すること。
• 非制約TS1正則化低ランク行列回復問題のグローバル最小化子の固定点表現を構築すること。
• TS1ペナルティに基づく反復しきい値関数アルゴリズムを設計し、さまざまなノイズおよび共分散構造において、行列補完タスクで高い精度を達成すること。
• TS1アルゴリズムの性能を、特に真のランクが分かっている・分かっていない状況において、最先端の手法と比較すること。
• 内蔵されたランク推定機能を備えた適応的TS1アルゴリズムの有効性を、非凸重み付け手法（例：IRucL-q）と比較して評価すること。

提案手法

• パラメータa（非負）を介してランクとノルムの間を補間する、特異値上に定義された行列準ノルムとしての変換されたシュワーツン-1（TS1）ペナルティを提案する。
• TS1正則化最適化問題のグローバル最小化子の閉形式固定点表現を導出し、解析的しきい値関数の実現を可能にする。
• パラメータaの値に応じて、下臨界領域では連続的、上臨界領域では不連続的となるTS1しきい値関数を導入する。
• TS1ペナルティに基づく反復しきい値関数アルゴリズムを構築し、ソフトしきい値関数操作とTS1に基づく特異値圧縮を交互に実行する。
• 真のランクが不明な問題に対して、適応的ランク推定手順を統合し、困難な状況下での性能を向上させる。
• 二段階戦略を採用：第一にTS1正則化問題を解き、第二に反復的精錬によりランクを推定し、IRucL-qの挙動を模倣する。

実験結果

リサーチクエスチョン

• RQ1 TS1ペナルティは、核ノルムのような凸代替手法と比較して、行列補完タスクにおける低ランク解の促進にどの程度効果的か。
• RQ2 TS1しきい値関数は閉形式で導出可能か。その連続性特性は、アルゴリズムの収束性と性能にどのように影響するか。
• RQ3 TS1反復しきい値関数アルゴリズムの性能は、多変量正規分布行列回復におけるさまざまな共分散構造とノイズレベルにおいて、どのようにスケーリングされるか。
• RQ4 内蔵されたランク推定機能を備えた適応的TS1アルゴリズムは、非凸重み付け手法（例：IRucL-q）と比較して、どの程度の性能を達成または上回るか。
• RQ5 パラメータaが、低ランク行列回復におけるランク最小化と解の精度のトレードオフに与える影響は何か。

主な発見

• パラメータaのすべての値に対して、TS1しきい値関数が閉形式で解析的に導出可能であり、計算が効率的に行える。
• 下臨界領域ではTS1しきい値関数は連続的であり、上臨界領域では不連続的であり、最適化挙動の違いを反映している。
• 真のランクが既知の問題では、完全に適応的なTS1反復しきい値関数アルゴリズムが、さまざまな共分散構造において、他の最先端手法を常に上回る性能を示す。
• 真のランクが不明な状況では、追加のランク推定手順を備えたTS1アルゴリズムが、先駆的非凸重み付け手法であるIRucL-qと同等の性能を達成する。
• 提案されたTS1アルゴリズムは、特にさまざまな共分散を持つ多変量正規ノイズ下において、行列補完タスクにおいて頑健性と高い精度を示す。
• グローバル最小化子の固定点表現により、安定的かつ効率的な最適化が可能となり、本手法の理論的・実験的成功を支える。