[論文レビュー] A Unified Approach to Error Bounds for Structured Convex Optimization Problems

Zirui Zhou, Anthony Man–Cho So|arXiv (Cornell University)|Dec 11, 2015

Sparse and Compressive Sensing Techniques参考文献 41被引用数 12

ひとこと要約

本稿では、滑らかな凸関数と一般の閉強凸関数を含む構造的凸最適化問題における誤差境界を確立するための統一的な枠組みを提示する。集合値解析の道具を活用することで、厳密補完性タイプの正則性条件の下で核ノルム正則化問題に対する新しい誤差境界を導出し、反例を用いてその必要性を証明した。これにより、ツェングが提起した長年の未解決問題が解決された。

ABSTRACT

Error bounds, which refer to inequalities that bound the distance of vectors in a test set to a given set by a residual function, have proven to be extremely useful in analyzing the convergence rates of a host of iterative methods for solving optimization problems. In this paper, we present a new framework for establishing error bounds for a class of structured convex optimization problems, in which the objective function is the sum of a smooth convex function and a general closed proper convex function. Such a class encapsulates not only fairly general constrained minimization problems but also various regularized loss minimization formulations in machine learning, signal processing, and statistics. Using our framework, we show that a number of existing error bound results can be recovered in a unified and transparent manner. To further demonstrate the power of our framework, we apply it to a class of nuclear-norm regularized loss minimization problems and establish a new error bound for this class under a strict complementarity-type regularity condition. We then complement this result by constructing an example to show that the said error bound could fail to hold without the regularity condition. Consequently, we obtain a rather complete answer to a question raised by Tseng. We believe that our approach will find further applications in the study of error bounds for structured convex optimization problems.

研究の動機と目的

• 滑らかで一般の凸関数を含む構造的凸最適化問題における誤差境界を導出するための一般的で透明な枠組みの開発。
• 既存の誤差境界結果を体系的に統合・再導出する。
• ツェングが提起した、核ノルム正則化問題における誤差境界の正則性条件の必要性に関する重要な未解決問題に取り組む。
• 核ノルム正則化損失最小化問題に対して新しい誤差境界を確立することで、この枠組みの強力さを示す。
• 反例を用いて、正則性条件が誤差境界が成立するためには不可欠であることを示す。

提案手法

• 集合値解析の道具を用いて最適解集合の構造と残差写像の性質を分析する。
• 近位写像に基づく残差関数 $ R(x) = \text{prox}_P(x - \nabla f(x)) - x $ を導入し、最適性の不適合度を測定する。
• 解集合に近いレベル集合上の $ x $ に対して、$ d(x, \mathcal{X}) \leq \kappa \|R(x)\|_2 $ の形の誤差境界を確立する。
• このアプローチを核ノルム正則化問題に適用し、厳密補完性タイプの正則性条件が誤差境界に対して十分であることを同定する。
• 正則性条件が満たされない場合に誤差境界が成立しない反例を構築することで、この条件の必要性を証明する。
• 行列のスリーピング作用素と特異値分解（SVD）に基づく解析を用いて、反例における残差写像を明示的に計算する。

実験結果

リサーチクエスチョン

• RQ1 滑らかで一般の凸関数を含む構造的凸最適化問題に対して、誤差境界を導出する統一的枠組みを開発できるか？
• RQ2 核ノルム正則化問題において、誤差境界 $ d(x, \mathcal{X}) \leq \kappa \|R(x)\|_2 $ が成立する条件は何か？
• RQ3 核ノルム正則化問題において、誤差境界が成立するためには、厳密補完性タイプの正則性条件が必要か？
• RQ4 この枠組みは、既存の誤差境界結果を透明で体系的な方法で再統合できるか？
• RQ5 正則性条件が成立しなかった場合、誤差境界にはどのような影響があるか？

主な発見

• 提示された枠組みは、透明で体系的な方法で、既存の誤差境界結果の多くを回復・統合することに成功した。
• 厳密補完性タイプの正則性条件の下で、核ノルム正則化損失最小化問題に対して新しい誤差境界を確立した。
• 解集合に近いレベル集合上の $ x $ に対して、定数 $ \kappa > 0 $ を用いて $ d(x, \mathcal{X}) \leq \kappa \|R(x)\|_2 $ が成り立つことが示された。
• 反例として、$ \|R(x^k)\|_F = o(d(x^k, \mathcal{X})) $ となるような $ x^k $ の系列が構築され、正則性条件が満たされない場合に誤差境界が成立しないことが示された。
• 反例により、正則性条件は誤差境界が成立するための必要十分条件であることが確認され、ツェングの問いに対する包括的かつ完全な答えが得られた。
• この枠組みは強力で一般化可能であり、他の非多面体正則化子への応用の可能性を有する。