[論文レビュー] High-dimensional Black-box Optimization via Divide and Approximate Conquer

Peng Yang, Ke Tang+1 more|arXiv (Cornell University)|Mar 11, 2016

Metaheuristic Optimization Algorithms Research参考文献 13被引用数 27

ひとこと要約

本稿では、部分的解の評価を多項式時間で近似することで、正確な評価が計算的に不可能な高次元ブラックボックス最適化のための新規フレームワークであるDivide and Approximate Conquer (DAC) を提案する。この手法は、部分問題の相互依存性に対処し、正確な評価の指数的計算量から多項式時間への削減を実現することで、グローバル最適解への収束を保証する。DACは、従来の最先端手法と比較して、分離不能な問題において優れた性能を発揮する。

ABSTRACT

Divide and Conquer (DC) is conceptually well suited to high-dimensional optimization by decomposing a problem into multiple small-scale sub-problems. However, appealing performance can be seldom observed when the sub-problems are interdependent. This paper suggests that the major difficulty of tackling interdependent sub-problems lies in the precise evaluation of a partial solution (to a sub-problem), which can be overwhelmingly costly and thus makes sub-problems non-trivial to conquer. Thus, we propose an approximation approach, named Divide and Approximate Conquer (DAC), which reduces the cost of partial solution evaluation from exponential time to polynomial time. Meanwhile, the convergence to the global optimum (of the original problem) is still guaranteed. The effectiveness of DAC is demonstrated empirically on two sets of non-separable high-dimensional problems.

研究の動機と目的

• 部分問題が相互に依存する高次元ブラックボックス最適化問題の挑戦に取り組む。正確な部分解の評価が計算的に不可能である。
• 従来の分割統治（DC）手法の限界を克服する。非分離問題では、部分解の高コストかつ正確な評価が原因で失敗するため。
• 部分解の評価を近似することで、スケーラビリティと収束性を両立する最適化フレームワークを開発する。
• 合成非分離問題および多クラスSVMのハイパーパrameterチューニングという実世界のタスクにおいて、DACの有効性を示す。
• 多項式時間での部分解の近似が、高次元空間における効果的なグローバル最適化を可能にすることを理論的および実験的に裏付ける。

提案手法

• 部分解の正確な評価を近似戦略に置き換えることで、計算コストを指数的から多項式時間へ削減する新規フレームワーク、Divide and Approximate Conquer (DAC) を提案する。
• 他の部分問題からの固定値を用いて部分解の関数値を推定する補完ベースの近似メカニズムを導入し、完全な再評価を回避する。
• 部分解の反復的精錬を通じて十分な探索と活用を維持することで、グローバル最適解への収束を保証する。
• ランダムサンプリングと局所探索の組み合わせを用いて、近似下での部分問題最適化を実装した実用的インスタンス、DAC-HC を構築する。
• CMA-ES や RESOO などの既存の勾配なし最適化手法と統合し、ベンチマーク問題における性能を評価する。
• 近似フェーズにおけるパラメータグループ化と次元削減により、解空間を縮小し、スケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 正確な評価が計算的に非現実的である場合、高次元ブラックボックス最適化における相互依存部分問題は、効果的に克服可能か？
• RQ2 多項式時間での部分解評価の近似が、非分離問題においてグローバル最適解への収束を保つことができるか？
• RQ3 高次元かつ非分離な問題において、DAC は最先端の勾配なし最適化手法と比較してどのように性能を発揮するか？
• RQ4 高次元かつ相互依存する探索空間を持つ実世界のハイパーパrameterチューニングタスクに、DAC を効果的に適用可能か？
• RQ5 DACフレームワークにおいて、近似精度と収束速度のトレードオフは何か？

主な発見

• 多クラスSVMのハイパーパrameterチューニングにおいて、USPS、News20、Letter データセットにおいて、グリッドサーチ、RESOO、CMA-ES よりも高いテスト精度をDACが達成した。
• USPS データセットでは、DAC-HC が平均94.60%のテスト精度（標準偏差 ±0.37%）を達成し、RESOO（94.38%）およびCMA-ES（93.33%）を上回った。
• Letter データセットでは、DAC-HC が85.72%の精度（標準偏差 ±0.24%）を達成し、高い性能と安定性を示した。
• News20 データセットでは、DAC-HC がRESOOと同等の精度（85.40%）を達成したが、標準偏差が ±0.11%（RESOOは ±1.44%）とはるかに小さく、優れたロバストネスを示した。
• CMA-ES は、すべての3つのデータセットにおいてグリッドサーチを下回った。これは、標準的な勾配なし手法が高次元かつ非分離なハイパーパラメータチューニングには不適切であることを示唆する。
• 結果から、DACを用いた複数の非共有ハイパーパラメータのチューニングは、1つの共有ハイパーパラメータを用いる場合よりも優れた性能をもたらすことが確認され、高次元最適化の必要性が裏付けられた。