[論文レビュー] Schatten-$p$ Quasi-Norm Regularized Matrix Optimization via Iterative Reweighted Singular Value Minimization

Zhaosong Lu, Yong Zhang|arXiv (Cornell University)|Jan 5, 2014

Sparse and Compressive Sensing Techniques参考文献 42被引用数 12

ひとこと要約

本稿では、スチャテン-\$p\$-準ノルム正則化付き行列最適化問題に対する反復的重み付き特異値最小化（IRSVM）手法を提案する。本手法は、閉形式の部分問題解法と、明示的なクラーク部分微分の計算を回避する新しい収束解析を活用する。すべての局所最適解が一次静止点であることを確立し、そのような点への収束を証明しており、計算結果では最先端手法を上回る性能を示している。

ABSTRACT

In this paper we study general Schatten-$p$ quasi-norm (SPQN) regularized matrix minimization problems. In particular, we first introduce a class of first-order stationary points for them, and show that the first-order stationary points introduced in [11] for an SPQN regularized $vector$ minimization problem are equivalent to those of an SPQN regularized $matrix$ minimization reformulation. We also show that any local minimizer of the SPQN regularized matrix minimization problems must be a first-order stationary point. Moreover, we derive lower bounds for nonzero singular values of the first-order stationary points and hence also of the local minimizers of the SPQN regularized matrix minimization problems. The iterative reweighted singular value minimization (IRSVM) methods are then proposed to solve these problems, whose subproblems are shown to have a closed-form solution. In contrast to the analogous methods for the SPQN regularized $vector$ minimization problems, the convergence analysis of these methods is significantly more challenging. We develop a novel approach to establishing the convergence of these methods, which makes use of the expression of a specific solution of their subproblems and avoids the intricate issue of finding the explicit expression for the Clarke subdifferential of the objective of their subproblems. In particular, we show that any accumulation point of the sequence generated by the IRSVM methods is a first-order stationary point of the problems. Our computational results demonstrate that the IRSVM methods generally outperform some recently developed state-of-the-art methods in terms of solution quality and/or speed.

研究の動機と目的

• スチャテン-\$p\$-準ノルム正則化付き行列最小化問題を解く課題に取り組む。これは非凸的であり、最適化が困難である。
• 行列ベースのSPQN問題における一次静止点を定義・分析し、それがベクトルベースの定式化と整合することを保証する。
• 効率的な計算を可能にする、閉形式の部分問題を有する反復的重み付き特異値最小化（IRSVM）アルゴリズムを開発する。
• 部分問題の部分微分の複雑さにもかかわらず、IRSVM手法が一次静止点への収束を確立する。
• 実験的に、IRSVMが解の品質および計算速度の両面で、既存の最先端手法を上回ることを示す。

提案手法

• スチャテン-\$p\$-準ノルム正則化付き行列最小化問題における一次静止点のクラスを提案する。
• 一次静止点および局所最適解の非ゼロ特異値に対する下界を導出する。
• 各部分問題が特異値しきい値処理を用いて閉形式で解かれるIRSVMアルゴリズムを導入する。
• 部分問題の明示的解構造に着目した、従来にない収束解析を構築する。これにより、クラーク部分微分の計算を回避できる。
• 特定の部分問題解の表現を用いて、IRSVM系列の任意の蓄積点が一次静止点であることを証明する。
• 反復的重み付け戦略を適用し、特異値を段階的に精緻化することで、低ランク解を促進する。

実験結果

リサーチクエスチョン

• RQ1 スチャテン-\$p\$-準ノルム正則化付き行列最小化問題における一次静止点はどのように定義され、ベクトルベースの定式化とどのように関係するか？
• RQ2 部分微分の計算が困難な場合に、行列SPQN問題に対する反復的重み付け手法の収束をどのように確立できるか？
• RQ3 一次静止点および局所最適解の非ゼロ特異値に対して、どのような下界を導出できるか？
• RQ4 閉形式の部分問題を有するIRSVM手法は、既存の最先端手法を上回る解の品質および速度を達成できるか？
• RQ5 部分問題解のどのような構造的性質が、明示的なクラーク部分微分表現を避ける新しい収束証明を可能にするか？

主な発見

• スチャテン-\$p\$-準ノルム正則化付き行列最小化問題のすべての局所最適解は、一次静止点である。
• 行列問題における一次静止点は、対応するベクトル再定式化における一次静止点と等価である。
• 一次静止点および局所最適解の非ゼロ特異値は、問題パラメータに依存する正の値で下から抑えられている。
• IRSVM手法は、その系列の蓄積点が一次静止点に保証されるような系列を生成する。
• 収束解析は、部分問題の閉形式解構造に着目することで、クラーク部分微分の明示的計算を回避している。
• 計算結果から、IRSVM手法が最近の最先端手法を解の品質および計算速度の両面で上回ることが示された。