[論文レビュー] A Quantile-based Approach for Hyperparameter Transfer Learning

David Salinas, Huibin Shen+1 more|arXiv (Cornell University)|Sep 30, 2019

Machine Learning and Data Classification被引用数 14

ひとこと要約

本論文は、異種のスケールやノイズを扱うために、半パラメトリックなガウスコプゥラを用いた分位数ベースの転移学習手法を提案する。ハイパーパramータから目的関数の分位数へのマッピングをモデル化することで、トムソンサンプリングとガウスコプゥラ過程を用いたロバストな転移学習が可能となり、ハイパーパramータ最適化およびニューラルアーキテクチャサーチの両方において、レイテンシと精度のトレードオフを伴う多目的最適化を含め、最先端の手法を著しく上回る。

ABSTRACT

Bayesian optimization (BO) is a popular methodology to tune the hyperparameters of expensive black-box functions. Traditionally, BO focuses on a single task at a time and is not designed to leverage information from related functions, such as tuning performance objectives of the same algorithm across multiple datasets. In this work, we introduce a novel approach to achieve transfer learning across different \emph{datasets} as well as different \emph{objectives}. The main idea is to regress the mapping from hyperparameter to objective quantiles with a semi-parametric Gaussian Copula distribution, which provides robustness against different scales or outliers that can occur in different tasks. We introduce two methods to leverage this mapping: a Thompson sampling strategy as well as a Gaussian Copula process using such quantile estimate as a prior. We show that these strategies can combine the estimation of multiple objectives such as latency and accuracy, steering the hyperparameters optimization toward faster predictions for the same level of accuracy. Extensive experiments demonstrate significant improvements over state-of-the-art methods for both hyperparameter optimization and neural architecture search.

研究の動機と目的

• 異なるスケールやノイズレベルを有する機械学習タスク間でのハイパーパramータ最適化における知識転送の課題に対処すること。
• 正規性の仮定をせず、厳密な標準化を要しない状態で、関連するタスク間の異種なデータ分布をロバストに処理する手法を開発すること。
• スカラー化されたコプゥラ目的関数を用いて、精度やレイテンシといった指標を統合することで、多目的最適化への転移学習の拡張を図ること。
• ハイパーパramータの事前評価を関連タスクから活用することで、分位数マッピングに基づく半パラメトリック事前分布を用いてベイズ最適化の効率を向上させること。
• 既存の転移学習手法に対するスケーラブルでロバストな代替手法を提供すること、特にハイパーパramータ最適化およびニューラルアーキテクチャサーチの文脈で。

提案手法

• 各タスクの観測値を比較可能な周辺分布に変換するため、ハイパーパramータから目的関数の分位数へのマッピングを半パラメトリックなガウスコプゥラでモデル化する。
• 各タスクの目的値の経験的累積分布関数（CDF）を用いて、スケールや外れ値の違いを反映する結合分布を構築する。
• 多タスク設定における探索と活用のバランスを図るために、コプゥラに基づく事後分布からのサンプリングを実装したトムソンサンプリング戦略を採用する。
• 分位数推定値を非定常的かつ非パラメトリックな事前分布として用いるガウスコプゥラ過程（GCP）を導入し、ハイパーパラメータ選定を支援する。
• コプゥラ変換された目的値の平均を用いることで、線形スカラー化よりも優れたパレートフロントの近似が可能となるように、多目的最適化にフレームワークを拡張する。
• 標準的なハイパーパラメータ最適化およびニューラルアーキテクチャサーチの両方のタスクに本手法を適用し、多様なデータセットや指標において一貫した性能向上を示す。

実験結果

リサーチクエスチョン

• RQ1 関連するハイパーパラメータ最適化タスク間で、異種のスケールやノイズレベルを有する状況において、半パラメトリックなガウスコプゥラモデルが有効に機能するか。
• RQ2 分位数ベースのコプゥラ事前分布を用いることで、標準的な転移学習ベースラインと比較して、ベイズ最適化の性能が向上するか。
• RQ3 本手法が、ニューラルアーキテクチャサーチにおける精度やレイテンシといった複数の目的を効率的に統合できるか。
• RQ4 線形スカラー化と比較して、コプゥラベースのアプローチが多目的最適化において真のパレートフロントをどれほど正確に近似できるか。
• RQ5 同じアルゴリズムを異なるデータセットに適用する範囲を超えて、ハイパーパラメータ次元数が異なるタスクへも一般化可能か。

主な発見

• 提案手法は、複数のデータセットにおいて、最先端の転移学習ベースラインを著しく上回り、収束が速く、レグレットが低い。
• ニューラルアーキテクチャサーチにおいて、既存の手法と比較して低いハイパーボリューム誤差を達成し、優れたパレートフロント近似性能を示した。
• ガウスコプゥラの使用により、重尾分布や外れ値に敏感なデータ分布に対してもロバストな性能を発揮し、標準化やランクベース手法を上回った。
• コプゥラ事前分布を用いたトムソンサンプリングは、多タスク設定において標準的な獲得関数と比較して、一貫して高い最適化効率を達成した。
• スカラー化されたコプゥラ目的関数は、線形スカラー化よりもパレートフロントの近似が正確であり、特に目的関数のトレードオフ幾何が非凸な場合に顕著に優れた性能を示した。
• 本手法は、実世界のHPOおよびNASワークロードに効果的にスケーリング可能であり、AWSインfraストラクチャ上での実験で顕著な高速化が確認された。