[論文レビュー] Implementation techniques for the SCFO experimental optimization framework

Gene A. Bunin, Grégory François+1 more|arXiv (Cornell University)|Jun 16, 2014

Adaptive optics and wavefront sensing参考文献 32被引用数 7

ひとこと要約

本稿では、物理的劣化、ノイズ、未知のリプシッツ定数、ソフト制約といった実用的課題を伴う実験的最適化における、SCFO（妥当性および最適性の十分条件）フレームワークのロバストで実装可能な実装を提示する。プロジェクト＆フィルターアルゴリズムを導入し、ノイズや劣化するシステムに対しても、適応的プロジェクションとラインサーチを用いて、妥当解へのグローバル収束を保証するとともに、制約の満足とコスト低減を維持する。

ABSTRACT

The material presented in this document is intended as a comprehensive, implementation-oriented supplement to the experimental optimization framework presented in a companion document. The issues of physical degradation, unknown Lipschitz constants, measurement/estimation noise, gradient estimation, sufficient excitation, and the handling of soft constraints and/or a numerical cost function are all addressed, and a robust, implementable version of the sufficient conditions for feasible-side global convergence is proposed.

研究の動機と目的

• 実験的最適化における物理的劣化、測定ノイズ、未知のリプシッツ定数といった実用的課題に対処すること。
• 妥当性側グローバル収束を保証する、ロバストで実装可能なSCFOフレームワークの開発。
• 高価でノイズの多い関数が関与する現実世界の実験的設定において、制約の満足とコスト低減を確保すること。
• 不確実性下での最適化におけるソフト制約および数値的コスト関数を扱う体系的な手法の提供。

提案手法

• 候補解が勾配に基づく十分降下条件で定義される局所的降下空間にまずプロジェクションされる、プロジェクト＆フィルターアルゴリズムを提案する。
• プロジェクション段階では、勾配情報と事前に定義された降下パラメータ δϕ, δg, δgp を用いて、コストおよびアクティブ制約の十分降下を強制する。
• フィルターゲイン Kk ∈ [0,1] を数値的ラインサーチにより決定し、実験的制約の妥当性とコスト低減を保証するとともに、反復点が境界内に留まるようにする。
• 区間解析と適応的タイトニングを用いて、制約およびコスト関数ヘッセ行列のリプシッツ定数を推定またはバウンディングし、未知の値に対処する。
• 確率的バウンディングとロバストネスマージン（δe）を組み込むことで、不確実性およびモデル誤差下でも妥当性を保証する。
• ソフト制約は、妥当性許容範囲バンド（dp,jk+1）として定義し、明示的なボックス制約を通じて反復点が安全な境界内に留まるように保証する。

実験結果

リサーチクエスチョン

• RQ1 未知のリプシッツ定数と実験的最適化における測定ノイズが存在する中で、SCFOフレームワークをどのようにしてロバストかつ実装可能にすることができるか？
• RQ2 物理的劣化とノイズの多い関数評価が存在する状況で、どのようなアルゴリズム的構造が妥当解へのグローバル収束を保証するか？
• RQ3 実験的および数値的制約の両方の妥当性を維持しながら、十分降下条件をどのように強制することができるか？
• RQ4 SCFOフレームワークをソフト制約および数値的コスト関数を扱うように拡張するために、どのような変更が必要か？
• RQ5 真のリプシッツ定数が未知であり、推定されなければならない状況で、アルゴリズムがどのようにして妥当性と収束性を維持できるか？

主な発見

• プロジェクト＆フィルターアルゴリズムは、未知のリプシッツ定数とノイズの多い測定に対しても、SCFO条件を満たす限り、妥当性側グローバル収束を保証する。
• 本手法は、最適化プロセス中において、すべての実験的反復点が実験的および数値的制約の両方を満たすことを保証する。
• フィルターゲイン Kk を用いた適応的プロジェクションとラインサーチにより、初期候補解が不適切であっても、コスト関数の低下とすべての制約の満足が保証される。
• δeマージンを組み込むことで、反復点が境界の安全な近傍に留まるよう保証され、モデル不確実性に対してロバストである。
• 理論的解析により、すべての状況（妥当、不適、不確実な初期解）において、仮定が成り立つ限り、必要な制約を満たす妥当な反復点が得られることを示した。
• 確率的バウンディング下でも本手法はロバストであり、妥当性条件が満たされれば、収束はほとんど確実に保証される。