[論文レビュー] Adaptive Interpolation Strategies in Derivative-Free Optimization: a case study

Warren Hare, Majid Jaberipour|arXiv (Cornell University)|Nov 9, 2015

Advanced Optimization Algorithms Research参考文献 25被引用数 4

ひとこと要約

本稿では、Derivative-Free Proximal Point (DFPP) アルゴリズムを事例として、導出不能最適化における適応的補間戦略を調査する。60のテスト問題に対して64の適応的サンプリング戦略を評価し、モデルを構築するための関数評価回数が性能に顕著な影響を与えることが判明した。高次元においては適応的戦略が性能向上をもたらすが、設計が不適切な場合には性能が劣化するリスクがある。

ABSTRACT

Derivative-Free optimization (DFO) focuses on designing methods to solve optimization problems without the analytical knowledge of gradients of the objective function. There are two main families of DFO methods: model-based methods and direct search methods. In model-based DFO methods, a model of the objective function is constructed using only objective function values, and the model is used to guide the computation of the next iterate. Natural questions in this class of algorithms include how many function evaluations should be used to construct the model? And, should this number be fixed, or adaptively selected by the algorithm? In this paper, we numerically examine these questions, using Hare and Lucet's Derivative-Free Proximal Point (DFPP) algorithm [Hare, Lucet, 2014] as a case study. Results suggest that the number of function evaluations used to construct the model has a huge impact on algorithm performance, and adaptive strategies can both improve and hinder algorithm performance.

研究の動機と目的

• 関数評価回数が、導出不能最適化における補間モデルの構築に与える影響が、性能にどのように影響するかを調査すること。
• 関数呼び出しの観点から、固定または適応的サンプリング戦略のどちらがより優れた収束速度を示すかを評価すること。
• 線形、二次、最小フロベニウスノルム補間の3つのモデル複雑度が、アルゴリズムの効率に与える影響を評価すること。
• DFPPアルゴリズムの枠組みにおいて、適応的戦略が静的戦略を上回る可能性があるかどうかを特定すること。
• モデルベースのDFO手法における、モデルの精度と計算コストのトレードオフに関する実証的証拠を提供すること。

提案手法

• 本研究では、補間戦略を評価するためのテストベッドとして、Derivative-Free Proximal Point (DFPP) アルゴリズムを用いる。
• 64の適応的戦略を実装し、前回反復のパフォーマンスに応じて補間集合のサイズを変化させた。
• 3つの補間モデルを評価した：線形（n+1点）、二次（(n+1)(n+2)/2点）、最小フロベニウスノルム（中間サイズ）。
• 収束速度とロバストネスへの影響を評価するため、ラインサーチを有効または無効にした状態でアルゴリズムをテストした。
• 60のテスト問題全体でソルバーのパフォーマンスを比較するため、許容誤差10⁻³および10⁻⁶を用いてデータプロファイルを生成した。
• 関数呼び出し回数を指標としてパフォーマンスを測定し、集計および可視化することで、速度とロバストネスを評価した。

実験結果

リサーチクエスチョン

• RQ1 補間モデルを構築する際に使用する関数評価回数が、DFPPアルゴリズムの収束速度にどのように影響するか？
• RQ2 補間集合サイズの選択に適応的戦略を用いることで、固定サイズ戦略に比べてパフォーマンスが向上するか？
• RQ3 ラインサーチの使用が、導出不能最適化における適応的補間戦略のパフォーマンスに顕著に向上効果をもたらすか？
• RQ4 特定の問題次元や特徴において、適応的戦略が静的戦略を上回るか？
• RQ5 線形、二次、最小フロベニウスノルムの各補間モデルは、収束速度とロバストネスの観点でどのように比較されるか？

主な発見

• 補間モデルを構築する際に使用する関数評価回数は、アルゴリズムのパフォーマンスに顕著な影響を与える。過小または過剰なパrameter化は、いずれも非効率を引き起こす。
• 適応的戦略は、特に高次元において収束を改善できるが、設計が不適切な適応ルールはパフォーマンスを著しく劣化させる可能性がある。
• 許容誤差10⁻³において、初期集合にSₙ、次の集合にS₂ₙを使用する戦略（Nₛ=Sₙ, Nₙ₁=Sₙ, Nₙ₂=S₂ₙ）が、他のラインサーチなし戦略よりも優れた性能を示した。
• より厳しい許容誤差10⁻⁶においては、Nₛ=Sₙ, Nₙ₁=S₂ₙ, Nₙ₂=Sₙの戦略が、ラインサーチなしの方法の中で最も優れたパフォーマンスを示した。
• ラインサーチは、すべての戦略において一貫してパフォーマンスを向上させ、ラインサーチを有効にした状態でSₙのみを使用する戦略（Nₛ=Nₙ₁=Nₙ₂=Sₙ）が、すべての戦略の中で最も優れた性能を示した。
• 関数評価回数を少なくする単純なモデル（例：線形補間）は、多くの評価を要するより複雑なモデルに比べて一般的に優れた性能を示した。これは、モデルの精度と計算コストのトレードオフがあることを示唆している。