[論文レビュー] DFO-LS: A flexible derivative-free solver for (bound constrained) nonlinear least-squares minimization

Coralia Cartis, Jan Fiala+2 more|arXiv (Cornell University)|Apr 5, 2019

Advanced Optimization Algorithms Research被引用数 10

ひとこと要約

DFO-LS は、残差の簡略化された線形回帰モデルを用いて、最小二乗問題のための導出フリー最適化スolverであり、2回の目的関数評価で早期に進捗を示すことを可能にする。停滞の自動検出、複数回の再起動、ノイズ対処戦略を用いて、ノイズが多い・高コストな問題において、サンプリング法や回帰法よりも優れた性能を発揮するとともに、滑らかな目的関数に対しても強力な性能を維持する。

ABSTRACT

DFO-LS is a flexible package for solving nonlinear least-squares minimisation, without requiring derivatives of the objective. It is particularly useful when evaluations of the objective function are expensive and/or noisy. URL: https://github.com/numericalalgorithmsgroup/dfols Documentation: https://numericalalgorithmsgroup.github.io/dfols/ More information about DFO-LS can be found in our paper: Coralia Cartis, Jan Fiala, Benjamina Marteau and Lindon Roberts, Improving the Flexibility and Robustness of Model-Based Derivative-Free Optimization Solvers, ACM Transactions on Mathematical Software, 45:3 (2019), pp. 32:1-32:41. [preprint]

研究の動機と目的

• 高コストでノイズの多い問題における、モデルベースの導出フリー最適化スolverの柔軟性と頑健性を向上させること。
• モデルベースのDFOスolverの初期化コストを低減し、通常のn次元問題のn+1回評価ではなく、2回の目的関数評価で進捗を示せるようにすること。
• 初期段階のパフォーマンスに特に寄与する、サンプル平均化、回帰モデル、複数回の再起動戦略を用いたノイズ耐性の向上。
• 同様の頑健性特徴を備えた一般非線形最適化のためのPython実装、Py-BOBYQAの開発。
• データプロファイルにおける真の目的関数改善とノイズのある目的関数改善のバランスを取る、ノイズ調整型の精度指標の導入。

提案手法

• DFO-LS は、ガウス・ニュートン法にインspiredされた信頼領域フレームワークを用いて、残差の簡略化された線形回帰モデルを構築する。
• ほとんどのモデルベースDFOスolverが要求する標準的なn+1回評価の要件を回避し、2回の目的関数評価での初期化を可能にする。
• 停滞の自動検出により複数回の再起動をトリガーし、局所最適解からの脱出を促進し、頑健性を向上させる。
• O(∆⁻¹ₖ) 回のサンプリングを1反復あたり行うことで、ノイズ対処のためのサンプル平均化と回帰ベースのモデルを統合し、頑健性と初期段階のパフォーマンスのバランスを取る。
• Py-BOBYQA は、境界制約とノイズ耐性戦略をサポートするBOBYQAのPython版として実装されている。
• ノイズのある関数におけるスolver性能の公平な評価を可能にするために、データプロファイルに新しい適応的精度指標を導入した。

実験結果

リサーチクエスチョン

• RQ1 導出フリーのスolverは、n+1回未満の目的関数評価で高コストな問題に対して有意義な進捗を示せるか？
• RQ2 複数回の再起動は、導出フリー最適化におけるノイズ耐性と局所最適解からの脱出にどの程度効果的か？
• RQ3 モデルベースDFOにおける回帰モデルやサンプル平均化は、標準的手法と比較してノイズのある問題におけるパフォーマンスを向上させるか？
• RQ4 ノイズ調整型の精度レベルをデータプロファイルに導入することで、ノイズのある関数におけるスolver性能を真の目的関数改善と整合させた公平なベンチマークが可能か？
• RQ5 初期化の柔軟性において、DFO-LSは、従来のモデルベースDFOスolverと比較して、初期段階のパフォーマンスと長期的収束性の両面で優れているか？

主な発見

• DFO-LS は、1回の勾配評価に必要な量よりも少ない目的関数評価回数で、中規模問題に対して妥当な進捗を達成している。
• スolverは、2回の目的関数評価で進捗を開始でき、高コストな問題における初期化コストを顕著に低減している。
• 停滞の自動検出によってトリガーされる複数回の再起動は、コスト効率が良く、頑健性向上に効果的なメカニズムであり、サンプリング法や回帰法を上回る性能を発揮している。
• ノイズのある問題では、複数回の再起動を備えたPy-BOBYQAが、最先端のDFOスolverと同等またはそれ以上のパフォーマンスを達成している。
• データプロファイルにおける提案されたノイズ調整型精度指標により、ノイズのある関数におけるスolver性能の公平な評価が可能になり、ノイズのある目的関数改善と真の目的関数改善が一致するようになっている。
• 複数回の再起動は滑らかな問題では性能を低下させず、むしろ局所最適解からの脱出を可能にし、(MW)データセットの問題14において、性能向上が示されている。