[論文レビュー] Cutting plane oracles for non-smooth trust-regions

Dominikus Noll|arXiv (Cornell University)|May 16, 2019

Advanced Optimization Algorithms Research参考文献 38被引用数 4

ひとこと要約

本稿は、4つの基本的ルールを満たすカットプレーンオラクルを用いた非滑らかな信頼領域法の統一的収束枠組みを導入する。この枠組みにより、ダウンシフトドタングエントス法や分割法を含む広範な手法群に対して、グローバル収束を臨界点へ示す。これは、厳密なモデル条件を確立し、前例の仮定（2次項が正定値でなければならないこと）を超えて収束理論を拡張したものである。

ABSTRACT

We prove global convergence of a bundle trust region algorithm for non-smooth non-convex optimization, where cutting planes are generated by oracles respecting four basic rules. The benefit is that convergence theory applies to a large variety of methods encountered in practice. This includes in particular the method of downshifted tangents, for which previously no convergence result in the trust region framework was known. We also show that certain splitting techniques can be seen as special cases of bundle trust region techniques.

研究の動機と目的

• 一般クラスのカットプレーンオラクルを用いた非滑らか信頼領域アルゴリズムのグローバル収束を確立すること。
• 凸バンドル法における集約技術が非凸信頼領域設定へ応用可能かどうかという未解決の問題を解消すること。
• 従来、信頼領域枠組み内で収束の証明がなかったダウンシフトドタングエントス法が、提案された枠組みに含まれることを示すこと。
• 古典的信頼領域法および分割技術（例：前向き後ろ向き分割）が、提案されたオラクルベースの枠組みの特殊ケースであることを示すこと。
• 従来の収束証明において仮定されていた正定値2次項の必要性が本質的であり、取り除けないことを証明すること。

提案手法

• オラクルは試行点における接線または劣勾配を用いて目的関数の局所的モデルを生成する。
• 収束を保証するための4つの基本的ルールを定義し、目的関数の劣微分と整合性を持つこと、適切なモデル構築が行われることを含む。
• 信頼領域アルゴリズムは、失敗（null）ステップからのカットプレーンを蓄積し、作業モデルを精緻化し、次回の深刻な反復を導く。
• 収束のために厳密なモデルが必要であり、これは現在の反復点の近傍で目的関数を十分に精度よく近似するモデルとして定義される。
• 本枠組みは、モデルベースオラクルとすべての接線を含むオラクル（すべての劣勾配を近傍で含む）を許容し、堅牢性を確保する。
• 収束は、すべての深刻な反復の集積点が 0 ∈ ∂f(x*) + N_C(x*) を満たす臨界点であることを示すことによって証明される。

実験結果

リサーチクエスチョン

• RQ1 一般クラスのカットプレーンオラクルを用いた非滑らか信頼領域法のグローバル収束を確立できるか？
• RQ2 ダウンシフトドタングエントス法は信頼領域枠組み内でグローバルに収束するか？また、提案されたオラクルルールを満たすか？
• RQ3 凸バンドル法における集約技術を、追加仮定なしに非凸信頼領域設定へ拡張可能か？
• RQ4 従来の収束証明における正定値2次項の仮定は必要不可欠であるか、それ以外に取り除けるか？
• RQ5 古典的信頼領域法および前向き後ろ向き分割のような分割技術は、提案されたオラクルベースの枠組みの特殊ケースか？

主な発見

• 4つの定義されたルールを満たすカットプレーンオラクルを用いたすべての信頼領域アルゴリズムについて、グローバル収束が証明され、すべての集積点が臨界点であることが保証される。
• ダウンシフトドタングエントス法が信頼領域枠組み内で正式にグローバル収束することが確立され、かつて未解決であった問題が解決された。
• 凸バンドル法で用いられる集約技術は、厳密なモデル条件のもとでは非凸信頼領域設定へ拡張可能であるが、それ以外では不可能である。
• 従来の収束証明における正定値2次項の仮定は本質的であり、取り除けないことが示された。
• 古典的信頼領域法および前向き後ろ向き分割は、提案された枠組みの特殊ケースであることが示され、収束性はオラクルの厳密さに依存する。
• すべての劣勾配を近傍に含む「すべての接線オラクル」はグローバル収束を保証し、多くの既存手法を一つの理論的枠組みに統合する。