[論文レビュー] Black-Box Optimization in Machine Learning with Trust Region Based Derivative Free Algorithm

Hiva Ghanbari, Katya Scheinberg|arXiv (Cornell University)|Mar 20, 2017

Machine Learning and Algorithms参考文献 23被引用数 12

ひとこと要約

本論文では、機械学習における滑らかでないノイズの多い関数である受信者リポーチ曲線下積分（AUC）を直接最大化するために、信頼領域に基づく勾配フリー最適化（DFO-TR）手法を提案する。この手法は、勾配情報に依存しない点で、ハイパーパramータチューニングおよびAUC最大化においてベイズ最適化やランダムサーチを上回り、特に高次元問題において、効率的な収束性とノイズに対するロバスト性を示す。

ABSTRACT

In this work, we utilize a Trust Region based Derivative Free Optimization (DFO-TR) method to directly maximize the Area Under Receiver Operating Characteristic Curve (AUC), which is a nonsmooth, noisy function. We show that AUC is a smooth function, in expectation, if the distributions of the positive and negative data points obey a jointly normal distribution. The practical performance of this algorithm is compared to three prominent Bayesian optimization methods and random search. The presented numerical results show that DFO-TR surpasses Bayesian optimization and random search on various black-box optimization problem, such as maximizing AUC and hyperparameter tuning.

研究の動機と目的

• 滑らかでないノイズの多い性能指標（例：AUC）を勾配情報に依存せずに最適化する課題に対処すること。
• 特に信頼領域に基づく勾配フリー最適化（DFO-TR）を、ベイズ最適化およびランダムサーチと比較して、勾配フリー最適化手法の有効性を評価すること。
• 機械学習における高次元ブラックボックス最適化問題におけるDFO-TRのスケーラビリティおよび実用的性能を調査すること。
• 線形分類器のAUC最適化およびRBFカーネルSVMのハイパーパramータ最適化において、DFO-TRがノイズのあるまたは部分的なデータに対しても効率的に動作することを示すこと。
• ハイパーパramータチューニングおよびモデル評価において、DFO-TRをベイズ最適化のスケーラブルな代替手段として理論的かつ実験的に裏付けること。

提案手法

• DFO-TRアルゴリズムは信頼領域フレームワークを用い、目的関数の局所的モデルを繰り返し構築・最適化することで、明示的な勾配計算を回避する。
• 計算コストを低減しつつ収束性を維持するため、訓練データを部分的にサンプリングする確率的バージョン（S-DFO-TR）を採用する。
• AUC最大化の文脈では、AUCを分類器の重みのブラックボックス関数として扱い、関数評価のみを用いる。失敗したステップの後には再サンプリングを適用し、ノイズのある評価を是正する。
• 信頼領域の部分問題は二次モデルを用いて解き、ステップサイズは実際の減少量と予測された減少量の比（rho_k）に基づいて調整する。
• ロバスト性を向上させるために、適応的サンプリングを用いたラインサーチを採用：実際の改善が不十分（ρ_k < η₀）な場合、新たなランダムサンプルを用いて関数を再評価する。
• 本手法は、線形分類器におけるAUC最大化およびRBFカーネルSVMのハイパーパramータチューニング（λ, γ, c_p の3つの連続的ハイパーパramータ）に適用される。

実験結果

リサーチクエスチョン

• RQ1 勾配情報に依存しない勾配フリー信頼領域手法（DFO-TR）は、滑らかでなくノイズの多い性能指標（AUC）を効果的に最適化できるか？
• RQ2 AUC最大化およびハイパーパramータチューニングのタスクにおいて、DFO-TRはベイズ最適化およびランダムサーチと比較して、性能および効率性に優れているか？
• RQ3 DFO-TRの確率的バージョン（S-DFO-TR）は、大規模データセットにおいて計算コストを削減しながらも収束性と性能を維持できるか？
• RQ4 DFO-TRは、特に3次元を超える高次元探索空間（例：>3次元）において、ベイズ最適化およびランダムサーチと比較してスケーラビリティに優れているか？
• RQ5 実世界の機械学習問題（例：コストセンシティブSVMチューニング）において、DFO-TRはより高い収束速度と最終的な性能を達成できるか？

主な発見

• DFO-TRは、線形分類器のAUC最大化において、ベイズ最適化およびランダムサーチを一貫して上回り、関数評価回数を減らしながらも高い平均AUC値を達成する。
• S-DFO-TRは、決定的DFO-TRと同等の収束速度を達成しながら、特に初期段階でデータの部分サンプリングにより反復あたりの計算コストを削減する。
• RBFカーネルSVMの3次元ハイパーパramータチューニング問題において、DFO-TRはランダムサーチおよびベイズ最適化（SMACがBOベースラインで最も優れた性能を示す）を上回るテスト精度を達成する。
• 本手法はノイズのある関数評価に対してロバストである：失敗したステップ後に再サンプリングすることで、サンプリング分散に起因する誤った高いAUC値に陥るのを回避する。
• DFO-TRは、勾配ベース手法が失敗する非凸的かつ不連続な目的関数（例：AUC）に対しても強く、最終的な目的関数値において滑らかに近似した手法を上回る性能を示す。
• DFO-TRは、ハイパーパラメータチューニングの文脈において、ベイズ最適化よりも高次元空間でより良いスケーリングを示し、次元が増加するに従い、BOが典型的に示す指数的コスト増加よりも計算コストの増加がより良好に制御される。