[論文レビュー] Fully Parallel Hyperparameter Search: Reshaped Space-Filling

Marie-Liesse Cauwet, Camille Couprie+6 more|arXiv (Cornell University)|Oct 18, 2019

Advanced Image and Video Retrieval Techniques参考文献 32被引用数 11

ひとこと要約

本稿では、探索分布を再形状化することで、既知の最適分布に対して再中心化（Recentering）を導入し、未知の分布に対してはコーシー変換を適用する、完全並列なハイパーパramータ探索手法を提案する。この手法は、特に高次元および実世界の機械学習タスクにおいて、収束速度と成功確率の両面でランダム探索、グリッド探索、およびLHS やハマークリーなどの空間充填設計を著しく上回る。

ABSTRACT

Space-filling designs such as scrambled-Hammersley, Latin Hypercube Sampling and Jittered Sampling have been proposed for fully parallel hyperparameter search, and were shown to be more effective than random or grid search. In this paper, we show that these designs only improve over random search by a constant factor. In contrast, we introduce a new approach based on reshaping the search distribution, which leads to substantial gains over random search, both theoretically and empirically. We propose two flavors of reshaping. First, when the distribution of the optimum is some known $P_0$, we propose Recentering, which uses as search distribution a modified version of $P_0$ tightened closer to the center of the domain, in a dimension-dependent and budget-dependent manner. Second, we show that in a wide range of experiments with $P_0$ unknown, using a proposed Cauchy transformation, which simultaneously has a heavier tail (for unbounded hyperparameters) and is closer to the boundaries (for bounded hyperparameters), leads to improved performances. Besides artificial experiments and simple real world tests on clustering or Salmon mappings, we check our proposed methods on expensive artificial intelligence tasks such as attend/infer/repeat, video next frame segmentation forecasting and progressive generative adversarial networks.

研究の動機と目的

• 従来の空間充填設計（例：LHS、ハマークリー）がランダム探索に比べて得られる利益が限定的であるという問題に取り組む。
• 既存手法の定数倍の性能向上を超える、完全並列なハイパーパramータ探索戦略を開発する。
• 最適分布 $P_0$ が既知またはある程度既知である状況において、実用的で分布に適応したサンプリング戦略を提供する。
• 最適分布 $P_0$ が未知または不正確に推定される現実世界のシナリオに対し、特に最適解が境界付近にある場合に耐性のある手法を設計する。
• GANS や動画予測などの高コストな実世界のAIタスクを含め、人工ベンチマークおよび実世界タスクの両方で提案手法を実証的に検証する。

提案手法

• 既知の $P_0$（例：標準正規分布）を、次元および予算に依存するスケーリング係数 $\lambda$ を用いてドメインの中心に引き寄せる再中心化（Recentering）を導入。これにより探索分布を再形状化する。
• 非有界なハイパーパramータに対しては尾の重さを増やし、有界な場合には境界に近づくようにサンプルを引き寄せるコーシー変換を提案。これによりコーナーアイテーションを改善する。
• 空間充填サンプリングの基盤としてスクラムブルド・ハマークリー列を用い、再中心化またはコーシー変換による再形状を施す。
• Eq. (1) に基づき、探索と活用のバランスを最適化するため、$\lambda$ を自動的に選択するメタ最適化戦略（MetaRctg）を採用。
• 探索空間の対称性を活用するため、準反対（QO）および反対（O）サンプリングのバリエーションを導入し、性能をさらに向上。
• 合成ベンチマーク（例：Nevergradのワンショット関数）および実世界タスク（例：プログレッシブGAN、動画予測、Salmonマッピング）の両方で手法を検証。

実験結果

リサーチクエスチョン

• RQ1 LHS やハマークリーなどの空間充填設計は、確率的分散および収束速度の観点でランダム探索に比べてどの程度優れているか？
• RQ2 再中心化やコーシー変換による探索分布の再形状化は、既存の空間充填法およびランダム探索法に比べて顕著な改善をもたらすか？
• RQ3 $P_0$ が既知の状況において、再中心化の最適スケーリング係数 $\lambda$ は何か？ また、次元 $d$ および予算 $n$ にどのように依存するか？
• RQ4 $P_0$ が未知または誤って指定されている実世界のハイパーパラメータ最適化において、コーシーに基づくおよび再スケーリングされたサンプリング戦略はどの程度有効か？
• RQ5 最適解が境界付近にあり、変数が高次元である状況では、コーナーアイテーションをより効果的に回避できる再形状された分布が、低不規則性列を上回る性能を示すか？

主な発見

• LHS やハマークリーなどの空間充填設計は、ランダム探索に比べて定数倍の改善にとどまり、確率的分散レートに漸近的改善がない。
• Eq. (1)（MetaRctg）により $\lambda$ を選択した再中心化は、合成ベンチマーク（表2）において、全次元および全予算で、祖先手法（例：準反対サンプリングを含む）を一貫して上回る。
• $P_0$ が未知の実世界設定では、コーシーに基づくサンプリング（例：Cauchy-Rctg.55）は、$P_0$ が僅かにしか知られていない場合やデータが再スケーリングされている場合でも、最良の既知の手法と同等の性能を達成する。
• ドメインの境界に到達するようにスクラムブルド・ハマークリー列を再スケーリングした手法は、実世界タスクにおいて Cauchy-Rctg.55 とほぼ同等の性能を示し、境界カバレッジの重要性を裏付けている。
• $P_0$ の事前知識がない状況では、Cauchy-Rctg および再スケーリング済みハマークリーが最も安定的かつ効果的であり、Cauchy-Rctg.55 はAIR や PyTorch-GAN-zoo を含む多様なタスクで強力な性能を示す。
• 理論的分析により、再中心化およびコーシー変換が有効な探索分布を改善し、空間充填設計が達成できる範囲を超えて、最適解までの期待距離を低減できることを確認した。