[論文レビュー] Iterative Reweighted Singular Value Minimization Methods for $l_p$ Regularized Unconstrained Matrix Minimization

Zhaosong Lu, Yong Zhang|arXiv (Cornell University)|Jan 5, 2014

Advanced Optimization Algorithms Research被引用数 3

ひとこと要約

本稿では、$l_p$ 正則化付き非制約行列最小化問題を解くために、反復的重み付き特異値最小化（IRSVM）および非単調近接勾配（NPG）法を提案する。すべての局所最適解が一次静止点であることを確立し、これらの点の非ゼロ特異値に対する下界を導出し、両アルゴリズムのグローバル収束性を証明している。実験では、IRSVMが優れた速度と解の品質を示している。

ABSTRACT

In this paper we study general lp regularized unconstrained matrix minimization problems. In particular, we first introduce a class of first-order stationary points for them. And we show that the first-order stationary points introduced in [11] for an lp regularized vector minimization problem are equivalent to those of an lp regularized ma-trix minimization reformulation. We also establish that any local minimizer of the lp regularized matrix minimization problems must be a first-order stationary point. More-over, we derive lower bounds for nonzero singular values of the first-order stationary points and hence also of the local minimizers for the lp matrix minimization problems. The iterative reweighted singular value minimization (IRSVM) approaches are then pro-posed to solve these problems in which each subproblem has a closed-form solution. We show that any accumulation point of the sequence generated by these methods is a first-order stationary point of the problems. In addition, we study a nonmontone proximal gradient (NPG) method for solving the lp matrix minimization problems and establish its global convergence. Our computational results demonstrate that the IRSVM and NPG methods generally outperform some existing state-of-the-art methods in terms of solution quality and/or speed. Moreover, the IRSVM methods are slightly faster than the NPG method. Key words: lp regularized matrix minimization, iterative reweighted singular value min-imization, iterative reweighted least squares, nonmonotone proximal gradient method

研究の動機と目的

• $l_p$ 正則化付き非制約行列最小化問題における一次静止点を分析すること。
• $l_p$ 行列最小化問題の局所最適解が一次静止点でなければならないことを確立すること。
• 一次静止点および局所最適解の非ゼロ特異値に対する下界を導出すること。
• 閉形式の部分問題を有する反復的重み付き特異値最小化（IRSVM）法を開発すること。
• 同じクラスの問題に対してグローバル収束保証を有する非単調近接勾配（NPG）法を提案・分析すること。

提案手法

• $l_p$ 正則化付き行列最小化における一次静止点のクラスを導入し、ベクトルベースの定式化における同等の点と関連付ける。
• 一次静止点および局所最適解の非ゼロ特異値に対する理論的下界を導出する。
• 各部分問題が特異値の反復的重み付けにより閉形式で解けるIRSVM法を提案する。
• NPG法において非単調ラインサーチ戦略を採用し、収束のロバスト性を向上させる。
• NPGの部分問題に近接項を導入し、反復点の安定化と収束の保証を図る。
• IRSVMおよびNPGの反復点の任意の蓄積点が、元の問題の一次静止点であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 $l_p$ 正則化付き非制約行列最小化問題における一次静止点の特徴は何か？
• RQ2 一次静止点および局所最適解の特異値はどのように振る舞い、下界を導出可能か？
• RQ3 閉形式解を有する反復的重み付き特異値最小化（IRSVM）法を設計可能か？
• RQ4 非単調近接勾配（NPG）法は、$l_p$ 行列最小化に対してグローバル収束を達成するか？
• RQ5 IRSVMおよびNPGは、既存の最先端手法と比べて解の品質および計算速度で優れているか？

主な発見

• $l_p$ 正則化付き行列最小化問題のすべての局所最適解は一次静止点である。
• 一次静止点および局所最適解の非ゼロ特異値は、問題パラメータに依存する正の値で下から抑えられる。
• IRSVM法は、その反復点の蓄積点が一次静止点であることを保証しており、各部分問題が閉形式で解ける。
• NPG法は、目的関数が単調に減少しなくても、一次静止点にグローバルに収束する。
• 計算結果から、IRSVMおよびNPGは、解の品質および速度の両面で、既存の最先端手法を上回っていることが示された。
• IRSVM法はNPG法よりもわずかに高速であり、解の正確性は同等またはそれ以上を維持している。