[論文レビュー] Making a Science of Model Search

James Bergstra, Dan Yamins+1 more|arXiv (Cornell University)|Sep 23, 2012

Machine Learning and Data Classification参考文献 23被引用数 38

ひとこと要約

本論文は、コンピュータビジョン分野における自動化されたハイパーパrameter最適化のためのメタモデリングフレームワークを提案している。モデルの設定を実行可能な式グラフとして表現し、木構造をとるパルゼン推定（TPE）を用いてハイパーパrameter空間を効率的に探索する。3つの多様なビジョンタスク（LFW、PubFig83、CIFAR-10）において、24時間以内に手動で最適化された結果と同等またはそれを上回る性能を達成しており、GPUアクセラレーションを活用した偏りのない探索に依存している。

ABSTRACT

Many computer vision algorithms depend on a variety of parameter choices and settings that are typically hand-tuned in the course of evaluating the algorithm. While such parameter tuning is often presented as being incidental to the algorithm, correctly setting these parameter choices is frequently critical to evaluating a method's full potential. Compounding matters, these parameters often must be re-tuned when the algorithm is applied to a new problem domain, and the tuning process itself often depends on personal experience and intuition in ways that are hard to describe. Since the performance of a given technique depends on both the fundamental quality of the algorithm and the details of its tuning, it can be difficult to determine whether a given technique is genuinely better, or simply better tuned. In this work, we propose a meta-modeling approach to support automated hyper parameter optimization, with the goal of providing practical tools to replace hand-tuning with a reproducible and unbiased optimization process. Our approach is to expose the underlying expression graph of how a performance metric (e.g. classification accuracy on validation examples) is computed from parameters that govern not only how individual processing steps are applied, but even which processing steps are included. A hyper parameter optimization algorithm transforms this graph into a program for optimizing that performance metric. Our approach yields state of the art results on three disparate computer vision problems: a face-matching verification task (LFW), a face identification task (PubFig83) and an object recognition task (CIFAR-10), using a single algorithm. More broadly, we argue that the formalization of a meta-model supports more objective, reproducible, and quantitative evaluation of computer vision algorithms, and that it can serve as a valuable tool for guiding algorithm development.

研究の動機と目的

• 手動によるハイパーパrameterチューニングに起因する再現性の欠如や客観性の欠如を是正するため。これは、しばしばバイアスがかかる、または比較不可能なアルゴリズム性能評価を引き起こす。
• モデル設定を、性能指標がハイパーパrameterに依存する仕組みとして定式化することで、モデル探索を科学的プロセスとして形式化する。
• 経験に基づく主観的で曖昧なチューニングを、自動化され、バイアスがなく、再現可能なハイパーパrameter選定のための最適化パイプラインに置き換える。
• 自動化された探索が、多様なコンピュータビジョンタスクにおいて、熟練した人によるチューニングの効率性と性能を模倣または上回ることを示す。
• 一般化されたアルゴリズム設定のためのオープンソースツールを提供し、自動モデル探索分野における広範な採用と今後の研究を促進する。

提案手法

• 本手法は、ハイパーパrameterから性能指標（例：検証データ上の分類精度）へのマッピングを実行可能な式グラフとしてモデル設定を表現する。
• ハイパーパrameterは、数値的設定（例：フィルターサイズ、正則化強度）だけでなく、アーキテクチャ的選択（例：プーリングや正規化の有無など、特定の処理ステップの含む有無）も制御する。
• 過去の評価結果に基づくベイズ推論を用いて、反復的に有望な設定をサンプリングすることで、性能指標を最適化する目的で、木構造をとるパルゼン推定（TPE）が用いられる。
• 探索空間には、離散的選択（例：どのレイヤーを含めるか）と連続的パラメータ（例：学習率、フィルターサイズ）が含まれており、多様なモデルファミリーの探索が可能である。
• フレームワークはGPU実行を想定しており、数時間のうちに数千の設定を高速に評価できる。
• 本手法は任意の実数値の基準を最適化可能であり、モデルサイズや推論速度といった制約付き最適化にも対応可能である。

実験結果

リサーチクエスチョン

• RQ1 自動ハイパーパrameter探索は、コンピュータビジョンタスクにおいて熟練者によるチューニングの性能を模倣または上回ることができるか？
• RQ2 手動チューニングと比較して、自動探索はバイアスを低減し、再現性をどの程度向上させるか？
• RQ3 複雑で高次元のハイパーパrameter空間を最適化するにあたり、自動探索はランダムサーチに比べてどの程度効率的か？
• RQ4 一度の統一された最適化フレームワークで、タスク固有のチューニングなしに、多様なビジョンタスクで最先端の結果を再現できるか？
• RQ5 モデル設定を探索可能な式グラフとして形式化することで、より体系的かつ定量的なアルゴリズム評価が可能になるか？

主な発見

• CIFAR-10データセットにおいて、TPEを用いた自動探索は、78.8% ± 0.8のテスト精度を達成し、同クラスの手動チューニングモデル（79.1% ± 0.8）と同等の性能を示した。
• 2,000回の構成でランダムサーチを実行した場合、テスト精度は76.6% ± 0.8にとどまり、手動チューニングモデルおよびTPE最適化モデルの両方を下回った。
• TPEアルゴリズムは、6台のGPUを用いて約24時間で、最高水準の結果に匹敵する設定を発見した。これは、最適化の効率性においてランダムサーチを著しく上回った。
• 本手法は、顔認証（LFW）、顔識別（PubFig83）、オブジェクト認識（CIFAR-10）という3つの異なるタスクで、最先端の性能を再現した。
• フレームワークは、自動探索が主観的で直感に基づくチューニングを、再現可能で定量的なプロセスに置き換えることができることを示した。これにより、アルゴリズム間の公平な比較が可能になった。
• ソフトウェアのオープンソースリリースにより、結果の再現が可能となり、分野横断的な自動アルゴリズム設定分野における今後の研究を支援する。