[論文レビュー] Optuna: A Next-generation Hyperparameter Optimization Framework

Plambeck, Swantje, Schmidt, Maximilian+3 more|arXiv (Cornell University)|Jul 25, 2019

Machine Learning and Data Classification参考文献 23被引用数 980

ひとこと要約

Optunaは、動的探索空間構築のためのdefine-by-run API、効率的な pruning およびサンプリングアルゴリズム、スケーラブルで簡単にデプロイ可能なアーキテクチャを備えた次世代のハイパーパramータ最適化フレームワークです。効率性と使いやすさの両面で既存のフレームワークを上回り、分散ワーカーとの線形スケーラビリティを示し、実世界の応用例（オブジェクト検出、HPLベンチマーク、データベースチューニングなど）において pruning を通じた顕著な高速化を達成しています。

ABSTRACT

Hybrid systems, which combine both continuous and discrete behavior, are used in many fields, including robotics, biological systems, and control systems. However, due to their complexity, finding an accurate model is a challenge. This paper discusses the usage of symbolic regression to learn hybrid systems from data and specifically analyses learning parameters for a recent algorithm. Symbolic regression is a powerful tool that can automatically discover accurate and interpretable mathematical models in the form of symbolic expressions. Models generated by symbolic regression are a valuable tool for system identification and diagnosis, e.g., to predict future system behavior or detect anomalies. A major opportunity of our approach is the ability to detect transitions between different continuous behaviors of a system directly based on the dynamics. From a diagnosis perspective, this can advantageously be used to detect the system entering fault modes and identify their models. This paper presents a parameter study for a symbolic regression based identification algorithm.

研究の動機と目的

• 静的で事前に定義された探索空間を必要とする既存のハイパーパramータ最適化フレームワークの制限を解消すること。
• 特に条件付きまたは可変アーキテクチャを持つモデル向けに、動的で実行時における複雑なハイパーパramータ空間の構築を可能にすること。
• TPE や ASHA といった高度なサンプリング戦略に加え、統合的かつカスタマイズ可能な pruning を通じた最適化効率の向上。
• 軽量なインタラクティブ実験から大規模分散コンピューティングまでをサポートする、汎用的で簡単にデプロイ可能なフレームワークの設計。
• 深層学習にとどまらない多様な実世界の応用分野におけるフレームワークの有効性を実証すること、例えば HPC やデータベースチューニングなど。

提案手法

• ハイパーパラメータ探索空間が、実行中の目的関数内でのみ、ライブなトライアルオブジェクトを通じて動的に構築される define-by-run API を導入。
• 各最適化実行が Study として管理され、各評価が Trial として扱われる、スタディベースのアーキテクチャ。中央集権的なスタディオブジェクトによって管理される。
• Tree-structured Parzen Estimator (TPE) を用いたベイズ最適化と、ASHA による適応的リソース割り当てを採用。
• クライアント・サーバー型アーキテクチャにより、ワーカー数に比例して線形にスケーリング可能な、逐次的および分散最適化をサポート。
• トライアルオブジェクト上のメソッドチェイニングにより、ユーザー定義の条件付きハイパーパラメータや動的アーキテクチャ探索（例：ニューラルネットワークの層数やユニット数の変動）を可能に。
• 中間結果を監視し、有望でないトライアルを早期に終了する pruning 戦略を統合し、リソースの無駄を削減。

実験結果

リサーチクエスチョン

• RQ1 define-by-run API は、ニューラルアーキテクチャ探索における複雑で条件付きのハイパーパラメータ空間の指定を著しく簡素化できるか？
• RQ2 既存のフレームワークが静的設定を必要とするのに対し、動的探索空間構築は使いやすさと表現力の面でどのように影響を与えるか？
• RQ3 限られた計算リソース予算下で、効率的な pruning およびサンプリングアルゴリズムは最適化効率をどの程度向上できるか？
• RQ4 統合されたフレームワークとして、軽量なインタラクティブ実験から大規模分散ハイパーパラメータチューニングまで、どのようにスケーリングできるか？
• RQ5 Optuna は、HPC ベンチマークやデータベース設定など、深層学習にとどまらない実世界のワークロードにおいて、どの程度の性能を示すか？

主な発見

• Optuna の define-by-run API により、ハイパーパラメータ空間の動的構築が可能になり、最小限のコードで複雑で条件付きのアーキテクチャ（例：可変深さのニューラルネットワーク）を実現。事前設定は不要。
• 分散環境下でも線形スケーリングを達成：ワーカー数に関わらずテスト誤差が安定しており、効率的な負荷分散と最小限の通信オーバーヘッドを示している。
• pruning（例：ASHA）を適用した場合、RocksDB では 4 時間で 937 組のパラメータセットを探索したが、pruning を行わない場合はたった 39 組にとどまり、平均計算時間を 372 秒から 30 秒に削減。
• Open Images Object Detection 2018 コンペティションでは、Optuna を活用して開発されたモデル（PFDet）が 2 位を獲得し、大規模 ML タスクにおける実世界の有効性を実証。
• スーパーコンピュータ向け High Performance Linpack（HPL）ベンチマークにおいて、最適パラメータの特定に要する時間を短縮した。これは、深層学習をはるかに超える応用分野での有用性を示している。
• FFmpeg エンコードにおいて、Optuna は再構築誤差が 2 番目の最良プリセットと同等のパラメータセットを発見し、非 ML システムチューニングにおける有効性を裏付けた。