[論文レビュー] Non-smooth Variable Projection

Tristan van Leeuwen, Aleksandr Y. Aravkin|arXiv (Cornell University)|Jan 19, 2016

3D Shape Modeling and Analysis参考文献 51被引用数 8

ひとこと要約

本稿では、非滑らか最適化問題に変数射影を拡張するために、1つの変数群の最小化と非滑らか正則化項、および不正確な部分問題解を扱う不正確な適応的アルゴリズムを導入する。グローバル収束性と収束速度を確立し、機械学習および逆問題に応用する。

ABSTRACT

Variable projection solves structured optimization problems by completely minimizing over a subset of the variables while iterating over the remaining variables. Over the last 30 years, the technique has been widely used, with empirical and theoretical results demonstrating both greater efficacy and greater stability compared to competing approaches. Classic examples have exploited closed-form projections and smoothness of the objective function. We extend the approach to problems that include non-smooth terms, and where the projection subproblems can only be solved inexactly by iterative methods. We propose an inexact adaptive algonrithm for solving such problems and analyze its computational complexity. Finally, we show how the theory can be used to design methods for selected problems occurring frequently in machine-learning and inverse problems.

研究の動機と目的

• 滑らかでない、非凸な最適化問題に適用可能な変数射影法のギャップを埋める。特に、部分問題解が不正確な場合に適用可能であることを目的とする。
• 滑らかでない項を含む構造的最適化問題に対して、グローバルに収束する不正確な適応的アルゴリズムを構築する。
• y-部分問題における不正確性を想定した下で、計算複雑性と収束速度を分析する。
• 提案されたフレームワークを用いて、機械学習および逆問題における一般的な問題に対する実用的手法を設計する。
• 不正確な射影が存在する状況でも、収束性と収束速度に関する理論的保証を確立する。

提案手法

• 滑らかだが $ r_1, r_2 $ が非滑らかである関数 $ f(x,y) + r_1(x) + r_2(y) $ の最小化に向けた不正確な適応的近接勾配法を提案する。
• 変数射影を用い、$ \bar{y}(x) = \arg\min_y f(x,y) + r_2(y) $ を定義することで、問題を $ \bar{f}(x) = f(x, \bar{y}(x)) + r_1(x) $ の最小化に簡略化する。
• y-部分問題の不正確解を誤差項 $ e_k $ を導入することで扱い、有界な誤差のもとで勾配降下の減少性を保証する。
• リャプノフ型解析により収束性を確立し、$ \|e_k\| \leq C \|x_{k+1} - x_k\| $ かつ $ C < L/2 $ を仮定すると、$ \min_k \|x_{k+1} - x_k\| \leq A \sqrt{ \frac{F(x_0) - F(x_*)}{n} } $ が成り立つことを示す。ここで $ A = \sqrt{ \frac{2}{L - 2C} } $ である。
• 近接勾配写像 $ G(x) = \alpha^{-1}(x - \text{prox}_{\alpha g}(x - \alpha \nabla f(x))) $ を用いた停止基準を導入し、$ \|T(x) - \bar{x}\| \leq \frac{1 + \alpha L}{\mu} \|G(x)\| $ を満たすことで、最適解からの距離の上限を保証する。
• ハッセアンのシュール補完構造を活用し、非滑らか正則化項が存在しても、改善された条件数と安定性が得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 反復的手法によって解かれるy-部分問題が不正確な非滑らか問題に、変数射影を拡張することは可能か？
• RQ2 部分問題解が近似的である場合に、不正確な変数射影に対してどのような収束保証が得られるか？
• RQ3 y-部分問題の不正確性が、全体のアルゴリズムのグローバル収束性および収束速度に与える影響は何か？
• RQ4 提案されたフレームワークは、非滑らか正則化を伴う機械学習および逆問題の実世界問題に応用可能か？
• RQ5 不正確性が存在する状況でも、最適解からの距離を保証する実用的な停止基準は何か？

主な発見

• 不正確な適応的変数射影アルゴリズムは、収束速度 $ \min_k \|x_{k+1} - x_k\| \leq \sqrt{ \frac{2(F(x_0) - F(x_*))}{(L - 2C)n} } $ を有するグローバル収束性を保証する。ここで $ C $ は y-部分問題解の相対誤差の上限を表す。
• 誤差 $ \|e_k\| $ がステップサイズおよび次の反復点までの距離に対して十分に小さい場合、下降性が保証される。具体的には $ \|e_k\| \leq \min\left( \frac{\gamma}{2\alpha}, \frac{\gamma}{2(\alpha^{-1} - L/2)} \right) $ を満たす。ここで $ \gamma $ は非停留点において0から離れている。
• $ \bar{y}(x) $ に対する $ x $ に関する感度を計算しないため、非滑らか設定下でも古典的変数射影の効率性を維持する。
• 理論的解析により、$ \bar{f}(x) $ の問題がハッセアンのシュール補完構造から良好な条件数を継承することを示し、数値的安定性が向上することが分かった。
• 近接勾配写像 $ G(x) $ を用いた実用的な停止基準が導出され、$ \|T(x) - \bar{x}\| \leq \frac{1 + \alpha L}{\mu} \|G(x)\| $ を満たすことで、最適解からの距離が保証される。
• フレームワークは、モデルキャリブレーション、機械学習におけるトリミング、PDE制約付き最適化の3つの動機付けられた問題に成功裏に適用され、広範な適用可能性が示された。