[論文レビュー] Line Search Methods for Convex-Composite Optimization

James V. Burke, Abraham Engle|arXiv (Cornell University)|Jun 13, 2018

Advanced Optimization Algorithms Research被引用数 3

ひとこと要約

本稿では、凸複合最適化問題に対する線探索法を提案する。下降方向はガウス＝ニュートン部分問題から得られ、方向微分の連続的近似を用いることで、弱 Wolfe 線探索およびバックトラック線探索を可能にし、非滑らかで無限大の値をとる問題に対してもグローバル収束を保証する。

ABSTRACT

We consider descent methods for solving infinite-valued nonsmooth convex-composite optimization problems that employ search directions derived from Gauss-Newton subproblems. The descent algorithms are based on either a weak Wolfe or a backtracking line search using a continuous approximation to the directional derivative that exploits the structure associated with convex-composite problems.

研究の動機と目的

• 非微分可能成分を含む、無限大の値をとる非滑らかで凸複合最適化問題を解くという課題に対処すること。
• 目的関数に滑らかさの欠如および無限大の値が存在する場合でも、グローバル収束を維持する降下アルゴリズムの開発。
• 凸複合問題の構造を活用して、効率的で信頼性の高い線探索戦略の設計。
• 方向微分の連続的近似を用いて、弱 Wolfe 線探索またはバックトラック線探索により収束を保証すること。

提案手法

• 本手法は、最適化問題の複合構造に適合したガウス＝ニュートン部分問題を解くことで得られる降下方向を用いる。
• 凸複合フレームワークを活用した方向微分の連続的近似を用い、線探索手順を可能にする。
• 目的関数の十分な減少を保証するために、弱 Wolfe 線探索またはバックトラック線探索を適用する。
• 複合問題の構造と部分問題の解に依存することで、無限大の値をとる関数に対しても対処可能である。
• 標準的な仮定のもとで、連続的方方向微分近似と降下方向の性質を活用することで収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 無限大の値をとる非滑らかで凸複合最適化問題に線探索法をどのように適合させることができるか。
• RQ2 線探索を可能にするために、複合問題における方向微分を効果的に近似する方法は何か。
• RQ3 弱 Wolfe 線探索またはバックトラック線探索は、このような問題に適用された場合にグローバル収束を保証できるか。
• RQ4 ガウス＝ニュートン部分問題は、この文脈における降下方向計算にどのように寄与するか。

主な発見

• 提案された線探索法は、無限大の値をとる目的関数をもつ凸複合問題に対してグローバル収束を達成する。
• 方向微分の連続的近似により、非滑らか設定における線探索戦略の実装が可能になる。
• 弱 Wolfe 線探索およびバックトラック線探索の両方が、提案されたフレームワークにおいて有効であることが示された。
• ガウス＝ニュートンに基づく降下方向は、信頼性が高く構造に配慮した最適化手法を提供する。