[論文レビュー] A Counterexample for the Validity of Using Nuclear Norm as a Convex Surrogate of Rank

Hongyang Zhang, Zhouchen Lin+1 more|arXiv (Cornell University)|Apr 23, 2013

Sparse and Compressive Sensing Techniques参考文献 19被引用数 9

ひとこと要約

この論文は、ノイズのない潜在的低ランク表現（LatLRR）のような単純なモデルですら、ランクの凸サロゲートとして核ノルムを用いることが常に有効でない理論的反例を提示している。著者らは、LatLRRの核ノルム最小化定式化の解が一意でないことを証明しており、これは、一意な解を仮定している既存のLatLRRの結果の信頼性を損なうものである。

ABSTRACT

Rank minimization has attracted a lot of attention due to its robustness in data recovery. To overcome the computational difficulty, rank is often replaced with nuclear norm. For several rank minimization problems, such a replacement has been theoretically proven to be valid, i.e., the solution to nuclear norm minimization problem is also the solution to rank minimization problem. Although it is easy to believe that such a replacement may not always be valid, no concrete example has ever been found. We argue that such a validity checking cannot be done by numerical computation and show, by analyzing the noiseless latent low rank representation (LatLRR) model, that even for very simple rank minimization problems the validity may still break down. As a by-product, we find that the solution to the nuclear norm minimization formulation of LatLRR is non-unique. Hence the results of LatLRR reported in the literature may be questionable.

研究の動機と目的

• 低ランク行列回復問題において、核ノルム最小化がランク最小化を信頼性高く近似するという広く受け入れられている仮定に挑戦すること。
• 単純でノイズのないランク最小化問題、例えばLatLRRですら、核ノルムサロゲートが有効でない場合があることを示すこと。
• LatLRRの核ノルム最小化定式化の解が一意でないことを明らかにし、先行研究の結果の信頼性に疑問を呈すること。
• 代替妥当性問題（解の同等性）と正確な回復問題（真の解の回復）の違いを明確にし、後者が成立しても前者が保証されないことを示すこと。

提案手法

• 単純なランク最小化問題の代表例として、ノイズのない潜在的低ランク表現（LatLRR）モデルを分析する。
• 複数の異なる最小化子を持つ可能性のある実行可能解集合を構築することで、LatLRRの核ノルム最小化定式化の解が一意でないことを証明する。
• 行列分解と特異値解析を用いて、LatLRRの核ノルム最小化問題が一意な解を強制しないことを示す。
• 行列のシュール補行列、正定値性、トレースの不等式などの理論的道具を用いて最適性の必要条件を導出する。
• 核ノルム解が制約を満たしていても、非一意性のため真のランク最小解に対応しない可能性があることを示す。
• 元のLRRとLatLRRの解集合を比較し、LatLRRの解集合がLRRの解集合を厳密に含むことから、根本的な構造的差異を示す。

実験結果

リサーチクエスチョン

• RQ1 低ランク行列回復問題において、核ノルムは常にランク関数の有効な凸サロゲートとして成立するのか？
• RQ2 ノイズのない単純な状況下でも、核ノルム最小化がランクを最小化する解を導かない反例を構築できるか？
• RQ3 LatLRRの核ノルム最小化定式化の解は、文脈上一般的に想定されているように一意のまま保たれるのか？
• RQ4 ランク最小化と核ノルム最小化の観点から、元のLRRとLatLRRの解集合の関係は何か？
• RQ5 LatLRRにおける解の非一意性が、単一の解が選択されるものとして依存している先行の実験的結果を無効にし得るか？

主な発見

• この論文は、ノイズのない単純なLatLRRモデルですら、核ノルム最小化が常にランクを最小化する解を導かない反例を構築している。
• LatLRRの核ノルム最小化定式化の解が一意でないことが明らかになった。これは、解が一意であると仮定している文献の結果の有効性を損なう。
• 著者らは、特定の条件下で、LatLRRの核ノルム最小化問題が複数の実行可能解を有し、同じ目的値をとることを証明しており、一意性が破られる。
• 非一意性は、データ行列の行空間への複数の射影が同じ核ノルム値をもたらすという最適化問題の構造に起因する。
• ランク最小化および核ノルム最小化の両方において、LatLRRの解集合はLRRの解集合を厳密に含む。これは、LatLRRがLRRの適切な拡張であることを示している。
• これらの結果は、核ノルムがランクのサロゲートとして有効であるかどうかを、単純でノイズのない問題に対しても一概に仮定できないことを示しており、個々の状況で検証する必要がある。