[論文レビュー] A Unified Convex Surrogate for the Schatten- p Norm

Chen Xu, Zhouchen Lin+1 more|arXiv (Cornell University)|Feb 12, 2017

Sparse and Compressive Sensing Techniques被引用数 28

ひとこと要約

本稿では、0 < p < 1 の場合に非凸性および非滑らかさを示す元のシュタイン・pノルムの問題を克服するために、任意の p > 0 に対して凸かつ滑らかな最適化を可能にするシュタイン・p ノルムの統一的凸サロゲートを提案する。因子行列のノルムとの等価性を確立することで、収束が保証され、実験的に優れた性能を示す高速な逐次的線形化最小化手法を用いた効率的な行列補完が可能になる。

ABSTRACT

The Schatten- p norm (0 0 satisfying 1/ p = 1/ p 1 + 1/ p 2 , there is an equivalence between the Schatten- p norm of one matrix and the Schatten- p 1 and the Schatten- p 2 norms of its two factor matrices. We further extend the equivalence to multiple factor matrices and show that all the factor norms can be convex and smooth for any p > 0. In contrast, the original Schatten- p norm for 0 < p < 1 is non-convex and non-smooth. As an example we conduct experiments on matrix completion. To utilize the convexity of the factor matrix norms, we adopt the accelerated proximal alternating linearized minimization algorithm and establish its sequence convergence. Experiments on both synthetic and real datasets exhibit its superior performance over the state-of-the-art methods. Its speed is also highly competitive.

研究の動機と目的

• 0 < p < 1 の場合に生じるシュタイン・p ノルムの非凸性および非滑らかさが、低ランク行列回復における最適化を妨げる問題に対処すること。
• 因子行列の分解を用いてシュタイン・p ノルムの凸的かつ滑らかなサロゲートを構築すること。
• 因子行列ノルムの凸性を活用して、行列補完のための効率的かつ収束性のある最適化を可能にすること。
• 提案手法が、精度および計算速度の両面で最先端の手法を上回ることを示すこと。

提案手法

• 1/p = 1/p1 + 1/p2 の条件下で、因子行列のシュタイン・p1 ノルムおよびシュタイン・p2 ノルムと関連付けることで、シュタイン・p ノルムの統一的凸サロゲートを提案する。
• 複数の因子行列への拡張により、任意の p > 0 に対してすべての因子ノルムが凸的かつ滑らかであることを保証する。
• 収束列が保証される加速型プロキシマル交互線形化最小化（APALM）アルゴリズムを用いて最適化問題を解く。
• シュタイン・p ノルムと因子行列ノルムとの間の等価性を活用して、元の非凸問題を凸的かつ滑らかな最適化枠組みに再定式化する。
• 因子分解された行列上での凸サロゲート目的関数の最小化により、行列補完に応用する。

実験結果

リサーチクエスチョン

• RQ1 0 < p < 1 の場合に、その固有の非凸性を考慮しても、シュタイン・p ノルムの凸サロゲートを構築できるか？
• RQ2 特定のパrameter条件の下で、行列のシュタイン・p ノルムとその因子行列のシュタイン・p1 ノルムおよび p2 ノルムとの間に数学的等価性が存在するか？
• RQ3 任意の p > 0 に対して、複数の因子分解において因子ノルムの凸性および滑らかさを維持できるか？
• RQ4 提案された凸サロゲートは、既存の手法と比較して、より高速かつ高精度な行列補完を可能にするか？

主な発見

• 提案された凸サロゲートにより、任意の p > 0 に対して滑らかで凸な最適化が可能となり、0 < p < 1 の場合の元のシュタイン・p ノルムの非凸性が解消される。
• 1/p = 1/p1 + 1/p2 の条件下で、行列のシュタイン・p ノルムとその因子行列のシュタイン・p1 ノルムおよび p2 ノルムとの間で等価性が確立される。
• 本手法は、合成データおよび実世界のデータセットの両方で、行列補完において最先端の性能を達成する。
• 加速型プロキシマル交互線形化最小化アルゴリズムにより、提案された定式化の収束列が保証される。
• 既存の手法と比較して、優れた精度に加え、非常に高い計算速度を示す。