[論文レビュー] Raiders of the Lost Architecture: Kernels for Bayesian Optimization in Conditional Parameter Spaces

Kevin Swersky, David Duvenaud+3 more|arXiv (Cornell University)|Sep 14, 2014

Machine Learning and Data Classification参考文献 20被引用数 53

ひとこと要約

本論文では、共通の関連するハイパーパrameterに基づいてアーキテクチャ間の依存関係をモデル化することで、可変深度をもつニューラルネットワークアーキテクチャなどの条件付きパrameter空間上で、ベイズ最適化を効率的に行うことが可能になる、新しいガウス過程カーネル「arcカーネル」を紹介する。arcカーネルは、モデルの精度と最適化の効率性を向上させ、MNISTおよびCIFAR-10における回帰およびベイズ最適化タスクにおいて、標準カーネルおよび個別モデルを上回る性能を発揮する。

ABSTRACT

In practical Bayesian optimization, we must often search over structures with differing numbers of parameters. For instance, we may wish to search over neural network architectures with an unknown number of layers. To relate performance data gathered for different architectures, we define a new kernel for conditional parameter spaces that explicitly includes information about which parameters are relevant in a given structure. We show that this kernel improves model quality and Bayesian optimization results over several simpler baseline kernels.

研究の動機と目的

• 深層ニューラルネットワークにおける可変深度など、一部のハイパーパラメータがアーキテクチャに応じて条件付きで関連するパラメータ空間上で最適化を実行する課題に対処すること。
• 異なる数の有効パラメータを持つアーキテクチャ間で関数の共分散をモデル化できるカーネルの開発。
• 重複するパラメータを共有する場合に、あるアーキテクチャの性能データが他のアーキテクチャの探索を支援できるようにすることで、ベイズ最適化の効率を向上させること。
• 各アーキテクチャごとに個別モデルを維持する必要を排除し、計算コストを低減するとともに、データ効率を向上させること。

提案手法

• arcカーネルは、関連するパラメータ上の線形カーネルと、異なる関連性パターンを持つ点を比較する際に一貫性を保証するデルタ関数の積として定義される。
• カーネル値が共有される関連パラメータにのみ依存するように保証され、関連のないパラメータは共分散に影響しない。
• カーネルハイパーパラメータはスライスサンプリングを用いて推定されるガウス過程フレームワークに統合される。
• 入力表現に関連性情報を明示的に埋め込むことで、複数のアーキテクチャにわたる統合的モデリングが可能になる。
• 共有ハイパーパラメータを類似性の根拠として扱うことで、アーキテクチャ間での情報の転送が可能になる。
• 全結合ニューラルネットワークを用いたMNISTおよびCIFAR-10での評価を通じて、GP回帰およびベイズ最適化の両設定で本手法を検証した。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャ構造に応じて入力次元が条件付きで関連するパラメータ空間において、関数の共分散をモデル化できるカーネルを設計できるか？
• RQ2 標準カーネルおよび個別モデルと比較して、arcカーネルは条件付きパラメータ空間における予測精度をどのように向上させるか？
• RQ3 arcカーネルはニューラルアーキテクチャサーチにおけるベイズ最適化の効率性と収束速度を向上させるか？
• RQ4 ハイパーパラメータの一部しか共有しない2つのアーキテクチャ間で、どれほど意味のある情報を共有できるか？

主な発見

• 元の出力でMNISTのベイズ最適化データセットにおいて、arcカーネルは0.421 ± 0.033の正規化平均二乗誤差を達成し、ベースラインのガウス過程（0.481 ± 0.031）を顕著に上回った。
• 対数変換された出力では、arcカーネルは0.335 ± 0.028を達成し、ベースラインGP（0.401 ± 0.028）および個別モデルを上回った。
• MNISTでは、arcカーネルを用いて発見された最良のモデルが、50,000件の訓練例を用いて1.19%のテスト誤差を達成し、より多くのデータを用いた先行研究の1.28%を上回った。
• CIFAR-10では、arcカーネルモデルが45,000件の例を用いて21.1%のテスト誤差を達成し、1,600次元の特徴量と50,000件の例を用いたベースラインSVM（22.1%誤差）を上回った。
• ベースラインが小さいモデルを好むのに対し、arcカーネルモデルはより深いアーキテクチャをより効果的に探索しており、有望な領域の探索が進んでいることを示している。
• arcカーネルは、各アーキテクチャごとの個別モデルの必要性を低減させ、データ効率を向上させるとともに、ベイズ最適化における収束速度を速めた。