[論文レビュー] Open Loop Hyperparameter Optimization and Determinantal Point Processes

Jesse Dodge, Kevin Jamieson+1 more|arXiv (Cornell University)|Jun 6, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 25被引用数 3

ひとこと要約

本稿では、k-決定的ポイントプロセス（k-DPP）を用いたオープンループハイパーパramータ最適化を提案し、一様なランダムサーチに比べてハイパーパramータのサンプリングにおける多様性を向上させることを目的としている。新しいメトロポリス・ハスティングスアルゴリズムを活用することで、k-DPPは混合離散連続および構造的探索空間に適応可能となり、一様サンプリングや、壁時計時間の大幅な短縮により、逐次ベイズ最適化でさえも上回る性能を達成した。

ABSTRACT

Driven by the need for parallelizable hyperparameter optimization methods, this paper studies \emph{open loop} search methods: sequences that are predetermined and can be generated before a single configuration is evaluated. Examples include grid search, uniform random search, low discrepancy sequences, and other sampling distributions. In particular, we propose the use of $k$-determinantal point processes in hyperparameter optimization via random search. Compared to conventional uniform random search where hyperparameter settings are sampled independently, a $k$-DPP promotes diversity. We describe an approach that transforms hyperparameter search spaces for efficient use with a $k$-DPP. In addition, we introduce a novel Metropolis-Hastings algorithm which can sample from $k$-DPPs defined over any space from which uniform samples can be drawn, including spaces with a mixture of discrete and continuous dimensions or tree structure. Our experiments show significant benefits in realistic scenarios with a limited budget for training supervised learners, whether in serial or parallel.

研究の動機と目的

• 一様なランダムサーチの非効率性を是正し、サンプルされた設定の多様性を促進することにより、ハイパーパramータ最適化の効率を向上させること。
• 収束性と性能の向上を実現する、並列化可能でi.i.d.でないオープンループハイパーパramータ最適化を可能とすること。
• 混合離散連続および木構造的次元を含む複雑な探索空間に対し、一般用途のサンプリング手法を構築すること。
• 多様性を重視したオープンループ手法が、実用的状況下で、最新の逐次ベイズ最適化でさえも上回ることを示すこと。

提案手法

• オープンループハイパーパramータサーチにおける独立的で一様なサンプリングの代替として、k-決定的ポイントプロセス（k-DPP）を提案し、多様性を促進すること。
• 任意の空間、特に混合離散連続および木構造的探索空間においてk-DPPからのサンプリングを可能にする、新しいメトロポリス・ハスティングスアルゴリズムを導入すること。
• ハイパーパramータ探索空間を変換し、k-DPPと互換性を持たせることで、異種の次元にわたる有効な多様性の促進を保証すること。
• 径路基底関数カーネルを用いたカーネルベースのk-DPP（k-DPP-RBF）を採用し、ハイパーパramータ設定間の類似度をモデル化すること。
• 複雑な探索空間をk-DPPのサンプリングに適した形に変換するアプローチを採用し、多様性の性質を保持すること。
• すべての設定を事前に指定する逐次評価フレームワークを採用することで、完全な並列化を実現し、フィードバック依存性を排除すること。

実験結果

リサーチクエスチョン

• RQ1 k-DPPに基づくサンプリングは、合成的および実世界の設定において、一様なランダムサーチに比べてハイパーパramータ最適化の性能を向上させることができるか？
• RQ2 制限された評価予算下で、ハイパーパramータのサンプリングにおける多様性は収束速度と最終的なモデル精度にどのように影響するか？
• RQ3 k-DPPは、Spearmintのような逐次ベイズ最適化手法に比べて、精度と壁時計時間の両面でどれほど優れているか？
• RQ4 k-DPPは、離散的・連続的・木構造的要素を含む混合次元および構造的ハイパーパラメータ空間に対しても、効果的に適用可能か？
• RQ5 多様性を重視したオープンループ探索は、適応的で閉ループな手法と比較して、局所最適解に陥るリスクを低減するか？

主な発見

• k-DPP-RBFサンプリングは、全テスト済みのハイパーパラメータ探索空間において、最高到達精度という点で一様ランダムサーチやソボル列を顕著に上回った。
• 「Stable」探索空間では、k=20のときk-DPP-RBFが平均で82.61%の最高精度を達成し、バッチ版Spearmint（82.65%）と逐次版Spearmint（82.76%）を上回ったが、壁時計時間は1/10にまで短縮された。
• 逐次ベイズ最適化（Spearmint）は平均で10倍以上の時間がかかっており、k-DPP-RBFに比べてわずか0.15%の精度向上にとどまった。
• k-DPP法は、合成的および実世界の実験の両方で一貫した優位性を示し、特に高影響度のハイパラメータ領域で顕著であった。
• すべてのハイパラメータが「安定」範囲内にあった場合でも、k-DPP-RBFは他のオープンループ手法を上回った。これは、多様性が良好に制御された探索空間でも性能向上をもたらすことを示している。
• メトロポリス・ハスティングスアルゴリズムにより、複雑な探索空間における有効なk-DPPサンプリングが可能となり、本手法の一般性とスケーラビリティが裏付けられた。