[論文レビュー] Unified Scalable Equivalent Formulations for Schatten Quasi-Norms

Fanhua Shang, Yuanyuan Liu+1 more|arXiv (Cornell University)|Jun 2, 2016

Sparse and Compressive Sensing Techniques参考文献 31被引用数 10

ひとこと要約

本稿では、行列のスチャテン- $p$ ノルムが特定のパrameter条件下で、その因子行列のスチャテンノルムの積または重み付き和を最小化することと等価であることを示すことにより、スチャテン- $p$ ノルムの統一的かつスケーラブルな同等形式を提案する。$p > 1/2$ の場合、スチャテン- $p$ ノルムは2つの因子行列のスチャテン- $2p$ ノルムの最小化と等価であり、反復的SVDやEVDを必要としない滑らかで効率的な最適化を可能にする。これにより、従来のスチャテン- $p$ ノルム最小化手法のスケーラビリティの制限を克服する。

ABSTRACT

The Schatten quasi-norm can be used to bridge the gap between the nuclear norm and rank function, and is the tighter approximation to matrix rank. However, most existing Schatten quasi-norm minimization (SQNM) algorithms, as well as for nuclear norm minimization, are too slow or even impractical for large-scale problems, due to the SVD or EVD of the whole matrix in each iteration. In this paper, we rigorously prove that for any p, p1, p2>0 satisfying 1/p=1/p1+1/p2, the Schatten-p quasi-norm of any matrix is equivalent to minimizing the product of the Schatten-p1 norm (or quasi-norm) and Schatten-p2 norm (or quasi-norm) of its two factor matrices. Then we present and prove the equivalence relationship between the product formula of the Schatten quasi-norm and its weighted sum formula for the two cases of p1 and p2: p1=p2 and p1 eq p2. In particular, when p>1/2, there is an equivalence between the Schatten-p quasi-norm of any matrix and the Schatten-2p norms of its two factor matrices, where the widely used equivalent formulation of the nuclear norm can be viewed as a special case. That is, various SQNM problems with p>1/2 can be transformed into the one only involving smooth, convex norms of two factor matrices, which can lead to simpler and more efficient algorithms than conventional methods. We further extend the theoretical results of two factor matrices to the cases of three and more factor matrices, from which we can see that for any 0

研究の動機と目的

• 反復ごとに高コストな特異値分解（SVD）や固有値分解（EVD）を必要とする、従来のスチャテン- $p$ ノルム最小化（SQNM）アルゴリズムの計算コストの高さに対処すること。
• 非滑らかで非凸な最適化を回避し、大規模計算に適した統一的かつスケーラブルなスチャテン- $p$ ノルムの同等形式を構築すること。
• 核ノルム（スチャテン-1ノルムの特殊ケース）として知られる二重スペクトルペナルティを、任意のスチャテン- $p$ ノルム（$0 < p < 1$）に一般化すること。
• 二因子分解から三因子および多因子分解への等価性の拡張を図り、任意の $0 < p < 1$ に対して滑らかで凸な最適化を可能にすること。

提案手法

• 任意の $p, p_1, p_2 > 0$ で $1/p = 1/p_1 + 1/p_2$ を満たす場合、行列 $X$ のスチャテン- $p$ ノルムが、$X = UV^T$ を満たす二つの因子行列 $U$ と $V$ のスチャテン- $p_1$ ノルムとスチャテン- $p_2$ ノルムの積の最小化と等価であることを証明する。
• 指数の調和平均条件の下で、積形式と重み付き和形式の両方におけるスチャテン- $p$ ノルムの等価性を、$p_1 = p_2$ および $p_1 \neq p_2$ の両ケースで確立する。
• $p > 1/2$ の場合、スチャテン- $p$ ノルムが二つの因子行列のスチャテン- $2p$ ノルムの最小化と等価であることを示し、非滑らかで非凸な問題を滑らかで凸な問題に変換する。
• 等価性を三つ以上の因子行列へ拡張し、任意の $0 < p < 1$ に対して、スチャテン- $p$ ノルムがすべての因子行列のスチャテン- $(\lfloor 1/p \rfloor + 1)p$ ノルムの平均の最小化と等価であることを証明する。
• ホルダーの不等式とラグランジュ乗数法を用いて、等価性の閉形式表現を導出し、数学的厳密性と一般性を保証する。
• 核ノルム、バイノルム、フロベニウス/核ノルム、およびトライノルムの quasi-norm が、提案されたフレームワークの特殊ケースであることを示す。

実験結果

リサーチクエスチョン

• RQ1 任意の $p > 0$ に対して、スチャテン- $p$ ノルムの統一的かつスケーラブルな同等形式を導出できるか？
• RQ2 指数の調和平均条件を満たす場合、スチャテン- $p$ ノルムと因子行列のスチャテンノルムの積または重み付き和の間には一般に等価性が存在するか？
• RQ3 二因子から三因子またはそれ以上の因子に等価性を拡張できるか？また、$0 < p < 1$ の場合、滑らかさと凸性は保たれるか？
• RQ4 提案された定式化により、SQNMにおける反復的SVDまたはEVDの必要性が排除され、大規模最適化が効率的に行えるか？
• RQ5 既知の quasi-norm である核ノルム、バイノルム、トライノルムは、提案された一般フレームワークの特殊ケースであるか？

主な発見

• 任意の $p > 1/2$ に対して、行列のスチャテン- $p$ ノルムは、その二つの因子行列のスチャテン- $2p$ ノルムの最小化と等価であり、非滑らかで非凸なSQNM問題を滑らかで凸な最適化問題に変換する。
• 古典的な核ノルム最小化の定式化 $\|X\|_* = \min_{X=UV^T} (\|U\|_F^2 + \|V\|_F^2)/2$ は、$p=1$ かつ $p_1=p_2=2$ の場合に、提案されたフレームワークの特殊ケースである。
• 任意の $0 < p < 1$ に対して、スチャテン- $p$ ノルムは、$\lfloor 1/p \rfloor + 1$ 個の因子行列のスチャテン- $(\lfloor 1/p \rfloor + 1)p$ ノルムの平均の最小化と等価であり、滑らかで凸なノルムを用いたスケーラブルな最適化を可能にする。
• ホルダーの不等式とラグランジュ乗数法を用いて、等価性が数学的に厳密に証明されており、スチャテン- $p$ ノルムの一般的枠組みを確立している。
• 先行研究で定義されたバイノルムおよびフロベニウス/核ノルムの quasi-norm は、提案された定式化の特殊ケースであり、その一般性と統合的パワーを裏付けている。
• 提案された定式化により、最適化ステップにおける反復的SVDやEVDの必要性が排除され、大規模な低ランク行列回復問題に対して著しく高速かつスケーラブルなアルゴリズムが実現可能である。