[論文レビュー] Line Search and Trust-Region Methods for Convex-Composite Optimization

James V. Burke, Abraham Engle|arXiv (Cornell University)|Jun 13, 2018

Advanced Optimization Algorithms Research参考文献 20被引用数 4

ひとこと要約

本稿では、$h$ が凸、$g$ が閉強凸、$c$ が $C^1$-滑らかである形の凸合成最適化問題 $\min_x h(c(x)) + g(x)$ を解くために、バックトラックラインサーチ、弱 Wolfe ラインサーチ、信頼領域の3つの降下法を提案し、分析する。主な貢献は、きわめて弱い仮定のもとで一次最適性点へのグローバル収束を証明することであり、収束はモデル関数 $\Delta f(x;d)$ における降下とステップサイズおよび信頼領域半径のセーフガードによって確立される。

ABSTRACT

We consider descent methods for solving non-finite valued nonsmooth convex-composite optimization problems that employ Gauss-Newton subproblems to determine the iteration update. Specifically, we establish the global convergence properties for descent methods that use a backtracking line search, a weak Wolfe line search, or a trust-region update. All of these approaches are designed to exploit the structure associated with convex-composite problems.

研究の動機と目的

• 機械学習や動的システムに生じる凸合成最適化問題に対する、効率的でグローバルに収束するアルゴリズムの必要性に対応する。
• スパarsity や制約を引き起こす $g$ の構造を活用する降下法の開発および分析を行う。
• バックトラックラインサーチ、弱 Wolfe ラインサーチ、信頼領域の3つの方法について、ガウス・ニュートン型の部分問題を用いてグローバル収束を確立する。
• 無限大をとる関数や滑らかでない合成問題に対する収束保証を提供し、従来の有限値関数やプロキシマル法の研究を拡張する。

提案手法

• 探索方向 $d^k$ を、$\|d\| \leq \eta_k$ を満たす制約のもとで $\Delta f(x^k; d) = h(c(x^k) + \nabla c(x^k)d) + g(x^k + d) - f(x^k)$ を最小化するガウス・ニュートン部分問題を用いて計算する。
• 方向微分の代わりにモデル関数 $\Delta f(x;d)$ を代理として用いるアーミジョ型条件を満たすバックトラックラインサーチを実装する。
• モデル関数 $\Delta f(x;d)$ を用いて降下と曲率条件を推定することで、無限大値をとる滑らかでない関数に対しても弱 Wolfe ラインサーチを適応する。
• ステップサイズを半径 $\delta_k$ で制御する信頼領域戦略を適用し、予測減少と実際の減少の差に応じて適応的に調整する。
• セーフガード機構を導入：反復点が長期間にわたり固定近傍に留まる場合、目的関数は $-\infty$ に発散することになり、仮定に矛盾する。
• モデル関数 $\Delta f(x;d)$ を用いて降下条件 $\Delta f(x^k; d^k) < 0$ を定義し、パラメータ $\beta_1, \beta_2, \kappa_1, \kappa_2$ を用いて十分な減少を保証する。

実験結果

リサーチクエスチョン

• RQ1 バックトラックおよび弱 Wolfe ラインサーチ法は、構造的成分を有する無限大値をとる滑らかでない凸合成問題に適応可能か？
• RQ2 ガウス・ニュートン部分問題に基づく信頼領域法は、このような問題に対してグローバル収束を保証するか？
• RQ3 滑らかでない関数のラインサーチおよび信頼領域フレームワークにおいて、$\Delta f(x;d)$ をモデル関数として用いることで方向微分を置き換え可能か？
• RQ4 目的関数が十分に減少し、反復点が最適性点に収束するための条件は何か？
• RQ5 提案手法は、プロキシマル法や標準的な滑らかな最適化手法と比較して、収束行動および仮定においてどのように異なるか？

主な発見

• バックトラック、弱 Wolfe、信頼領域の3つの手法は、きわめて弱い仮定のもとで一次最適性点へのグローバル収束を保証する。
• グローバル収束は背理法によって確立される：反復点が有界のまま収束しない場合、目的関数は無限に減少することになり、仮定に反する。
• モデル関数 $\Delta f(x;d)$ を用いて降下条件および曲率条件を定義し、滑らかでない状況では方向微分の代わりに用いる。
• 信頼領域法は、ステップサイズを $\delta_k$ で制御することで十分な減少を保証し、予測減少が達成されない場合には適応的に更新する。
• 弱 Wolfe ラインサーチは、$\Delta f(x;d)$ を用いて降下と曲率の両方を推定することで、無限大値関数に適応し、滑らかでない $g$ に対しても適用可能である。
• 反復点の任意のクラスターポイント $\bar{x}$ は一次最適性点である。仮定のもとで定理 6.1 において $\Delta^C_1 f(\bar{x}) = 0$ が成り立つ。