[論文レビュー] Black-box optimization on hyper-rectangle using Recursive Modified Pattern Search and application to ROC-based Classification Problem

Priyam Das|arXiv (Cornell University)|Apr 28, 2016

Advanced Statistical Methods and Models参考文献 48被引用数 2

ひとこと要約

本稿では、ハイパーレクトアンジュラー領域上のブラックボックス関数に対する、導出不能なグローバル最適化アルゴリズムである再帰的修正パターン探索（RMPS）を提案する。座標単位の探索と適応的ステップサイズ、並列評価を組み合わせることで、滑らかでない、多峰性の高い目的関数を効率的に最適化する。非滑らかで多峰性の高い目的関数の最適化において、シミュレーテッドアニーリング（SA）に比べ最大368倍の高速化を達成し、アルツハイマー病バイオマーカーの組み合わせにおけるAUC最大化においてもステップダウン法を上回る性能を示した。

ABSTRACT

In statistics, it is common to encounter multi-modal and non-smooth likelihood (or objective function) maximization problems, where the parameters have known upper and lower bounds. This paper proposes a novel derivative-free global optimization technique that can be used to solve those problems even when the objective function is not known explicitly or its derivatives are difficult or expensive to obtain. The technique is based on the pattern search algorithm, which has been shown to be effective for black-box optimization problems. The proposed algorithm works by iteratively generating new solutions from the current solution. The new solutions are generated by making movements along the coordinate axes of the constrained sample space. Before making a jump from the current solution to a new solution, the objective function is evaluated at several neighborhood points around the current solution. The best solution point is then chosen based on the objective function values at those points. Parallel threading can be used to make the algorithm more scalable. The performance of the proposed method is evaluated by optimizing up to 5000-dimensional multi-modal benchmark functions. The proposed algorithm is shown to be up to 40 and 368 times faster than genetic algorithm (GA) and simulated annealing (SA), respectively. The proposed method is also used to estimate the optimal biomarker combination from Alzheimer's disease data by maximizing the empirical estimates of the area under the receiver operating characteristic curve (AUC), outperforming the contextual popular alternative, known as step-down algorithm.

研究の動機と目的

• 微分が計算困難な既知の境界を持つ非凸的・非滑らかでブラックボックスな目的関数を最適化する課題に対処すること。
• スケーラブルで導出不能な最適化手法を構築し、高次元空間においてもグローバル収束性を保ちつつ効率的に動作させること。
• アルツハイマー病の分類におけるバイオマーカーの組み合わせ最適化において、経験的受信者リポーチ曲線下積分（AUC）を最適化する既存手法の性能を向上させること。
• パターン探索アルゴリズムにおける並列計算を可能にし、高価な目的関数の最適化にかかる実行時間を短縮すること。
• 初期値の選択に依存しないロバスト性と、実行可能領域の境界上に真の最適解が存在する場合でも有効な性能を示すこと。

提案手法

• RMPSは、現在の解の周囲の2n個の点で目的関数を評価することで、座標単位の探索を実行する。各座標軸に沿って、1ステップ前進および後退した点を評価する。
• 各反復で、2n個の候補点のうち目的関数値が最も良い点を選択し、現在の解をそれに更新する。
• 改善が得られなかった場合、ステップサイズを半分に適応的に縮小することで、局所的精錬と収束を実現する。
• 近隣点の評価に最大2n本のスレッドを並列に使用でき、高価な目的関数の計算を著しく高速化する。
• 局所的凸性および微分可能性の仮定の下で理論的収束性を確立し、コンact集合上でのグローバル収束性を保証する。
• MATLABで実装されており、CRANにRパッケージ（RMPSH）が公開されており、広範な利用を可能としている。

実験結果

リサーチクエスチョン

• RQ1 導出不能なパターン探索アルゴリズムが、GA や SA といった既存のメタヒューリスティクスに比べ、高次元ブラックボックス最適化において優れた収束速度と解の品質を達成できるか？
• RQ2 RMPSは、ROCベースの分類における経験的AUCのような滑らかでない多峰性の高い目的関数の最適化において、どのように性能を発揮するか？
• RQ3 近隣点の評価を並列化することで、高次元問題における実行時間のスケーラビリティはどの程度向上するか？
• RQ4 RMPSの性能は、高次元空間における初期値の選択に強く依存するか？
• RQ5 真の最適解が実行可能ハイパーレクトアンジュラー領域の境界上にある場合でも、RMPSはグローバル最適解を効果的に特定できるか？

主な発見

• 5000次元のベンチマーク関数において、RMPSは遺伝的アルゴリズム（GA）に比べ最大40倍の高速な収束を達成した。
• 同じベンチマーク問題において、RMPSはシミュレーテッドアニーリング（SA）に比べ最大368倍の高速化を達成した。
• アルツハイマー病のバイオマーカーの組み合わせにおける経験的AUCを最大化する際、RMPSはステップダウン法よりも高いHUM（異質的潜在モデル）目的値を達成した。
• RMPSで最適化された係数から得られる線形スコアは、Youdenの指数に基づく分類において、ステップダウン法よりも非重複クラスタをより多く生成した。
• 5000次元までの問題において、複数の初期点に対して一貫した性能を示し、初期値に依存しない低感受性を示した。
• 真の最適解が実行可能領域の境界上に存在する場合でも、RMPSはグローバル最適解を正常に特定できた。