[論文レビュー] AdaDGS: An adaptive black-box optimization method with a nonlocal directional Gaussian smoothing gradient

Hoang Tran, Guannan Zhang|arXiv (Cornell University)|Nov 3, 2020

Image Enhancement Techniques参考文献 35被引用数 7

ひとこと要約

AdaDGSは、従来の局所勾配に代わり、非局所的方向性ガウス平滑化（DGS）勾配を用いる適応的ブラックボックス最適化手法を提案する。バックトラッキングラインサーチを用いてステップサイズを自動的に決定し、平滑化半径を適応的に更新することで、手動によるハイパーパramータチューニングの必要性を排除し、マルチモーダルで高次元な問題、すなわちベンチマーク関数、エアフォイル設計、スーパーマリオレベル生成において優れた性能を達成する。

ABSTRACT

The local gradient points to the direction of the steepest slope in an infinitesimal neighborhood. An optimizer guided by the local gradient is often trapped in local optima when the loss landscape is multi-modal. A directional Gaussian smoothing (DGS) approach was recently proposed in (Zhang et al., 2020) and used to define a truly nonlocal gradient, referred to as the DGS gradient, for high-dimensional black-box optimization. Promising results show that replacing the traditional local gradient with the DGS gradient can significantly improve the performance of gradient-based methods in optimizing highly multi-modal loss functions. However, the optimal performance of the DGS gradient may rely on fine tuning of two important hyper-parameters, i.e., the smoothing radius and the learning rate. In this paper, we present a simple, yet ingenious and efficient adaptive approach for optimization with the DGS gradient, which removes the need of hyper-parameter fine tuning. Since the DGS gradient generally points to a good search direction, we perform a line search along the DGS direction to determine the step size at each iteration. The learned step size in turn will inform us of the scale of function landscape in the surrounding area, based on which we adjust the smoothing radius accordingly for the next iteration. We present experimental results on high-dimensional benchmark functions, an airfoil design problem and a game content generation problem. The AdaDGS method has shown superior performance over several the state-of-the-art black-box optimization methods.

研究の動機と目的

• 非局所的DGS勾配に基づく最適化におけるハイパーパramータ感度、特に平滑化半径と学習率の微調整の必要性に対処すること。
• 局所勾配がローカル・オプティマに閉じ込められるため失敗しやすいマルチモーダルで高次元な損失関数のランドスケープにおいて、グローバル最適化性能を向上させること。
• ラインサーチから得たステップサイズをもとに、次回の反復における平滑化半径を動的に調整する適応的メカニズムを構築すること。
• 合成ベンチマーク、工学的設計、プロシージャルコンテンツ生成を含む多様で高次元なブラックボックス最適化タスクにおいて、AdaDGSの有効性を実証すること。
• 強化学習、ニューラルアーキテクチャサーチ、生成モデル最適化などの分野で勾配情報が入手不能または誤解を招く状況において、堅牢かつ効率的な最適化を可能にすること。

提案手法

• 非局所的DGS勾配を探索方向として採用し、直交方向に沿って広範囲の関数値を統合することで、局所勾配よりも情報量が多く、グローバルに注意を向ける方向性を提供する。
• 各反復でDGS方向にバックトラッキングラインサーチを実行し、ノイズが多いまたは変動しやすいランドスケープに対してもロバストな最適なステップサイズを決定する。
• 学習されたステップサイズを損失関数の局所的スケールの推定値とみなし、次の反復における平滑化半径の適応的更新に活用する。
• 初期の平滑化半径を固定したまま、ラインサーチの結果に基づく乗法的更新則を用いて動的に調整することで、関連するグローバル構造を的確に捉える。
• 標準的な勾配ベースの最適化ループに適応的半径更新を統合し、一次の方法の効率性と収束性を保持する。
• DGS勾配における方向微分を計算するためにガウス＝エリート積分を用い、各次元あたりの関数評価回数を固定したまま、正確で安定した推定を実現する。

実験結果

リサーチクエスチョン

• RQ1 DGSベースの最適化における平滑化半径および学習率の手動チューニングを不要にする適応的メカニズムを設計できるか？
• RQ2 DGS勾配方向にラインサーチを適用することで、固定ステップサイズ法と比較して、マルチモーダルランドスケープにおける収束性およびグローバル探索性が向上するか？
• RQ3 ラインサーチの結果に基づく平滑化半径の適応的調整が、高次元ブラックボックス問題における最適化性能をどのように向上させるか？
• RQ4 AdaDGSは、プロシージャルコンテンツ生成のような複雑な高次元タスクにおいて、IPop-CMA や進化戦略といった最先端のブラックボックス最適化手法を上回る性能を発揮できるか？
• RQ5 リソース制約下の設定において、適応的半径およびラインサーチを用いたDGSの使用は、サンプリング効率と最適化品質の間にどのようなトレードオフを生じるか？

主な発見

• AdaDGSは、スーパーマリオブラザーズのレベル生成におけるスカイタイル、エネミー、キル数の最大化という4つの高次元最適化タスクのうち3つでIPop-CMAを顕著に上回った。
• MaxSkyTilesの目的関数において、AdaDGSは88%の試行でターゲットの高スカイタイルパターンを生成したのに対し、IPop-CMAは74%であった。これは、グローバル収束性の優位性とローカル・ミニマへの閉じ込めの低減を示している。
• 最適なレベルパターンの生成確率がIPop-CMAよりも4%高い結果を達成し、より優れた探索能力と劣悪なローカル・ミニマからの脱出能力を示している。
• ラインサーチの結果に基づく適応的半径更新により、より安定的かつ効果的な探索方向が得られ、初期パラメータ設定への感受性が低下した。
• ガウス＝エリート積分による関数評価回数の増加にもかかわらず、AdaDGSはより速い収束とより優れた最終解を達成した。これは、最適化品質の観点から、サンプリングコストを正当化するものであった。
• 合成関数、エアフォイル設計、プロシージャルゲームレベル生成を含む多様なベンチマークにおいて一貫した性能を示し、本手法の堅牢性と一般化能力を確認した。