[論文レビュー] Hyperparameter Ensembles for Robustness and Uncertainty Quantification

Florian Wenzel, Jasper Snoek+2 more|arXiv (Cornell University)|Jun 24, 2020

Advanced Neural Network Applications参考文献 57被引用数 34

ひとこと要約

本論文はハイパーパラメータ・アンサンブルを提案します。ハイパーディープ・アンサンブルとハイパーバッチ・アンサンブルを含み、ウェイトとハイパパラメータの多様性を組み合わせて頑健性と不確実性推定を改善します。効率的な実装で深層・バッチ・アンサンブルを上回ります。

ABSTRACT

Ensembles over neural network weights trained from different random initialization, known as deep ensembles, achieve state-of-the-art accuracy and calibration. The recently introduced batch ensembles provide a drop-in replacement that is more parameter efficient. In this paper, we design ensembles not only over weights, but over hyperparameters to improve the state of the art in both settings. For best performance independent of budget, we propose hyper-deep ensembles, a simple procedure that involves a random search over different hyperparameters, themselves stratified across multiple random initializations. Its strong performance highlights the benefit of combining models with both weight and hyperparameter diversity. We further propose a parameter efficient version, hyper-batch ensembles, which builds on the layer structure of batch ensembles and self-tuning networks. The computational and memory costs of our method are notably lower than typical ensembles. On image classification tasks, with MLP, LeNet, ResNet 20 and Wide ResNet 28-10 architectures, we improve upon both deep and batch ensembles.

研究の動機と目的

• ウェイトの多様性（ランダム初期化）とハイパーパラメータの多様性を組み合わせることによる頑健性と不確実性定量の利点を調査する。
• 二つのアンサンブルパラダイムを開発する：ハイパーディープ・アンサンブル（予算に依存しない性能）とハイパーバッチ・アンサンブル（パラメータ効率の良い性能）。
• ハイパーパラメータ探索とアンサンブル構築を統合する実用的アルゴリズムを提案し、画像分類タスクでの経験的利得を評価する。

提案手法

• ハイパーディープ・アンサンブルを導入し、ハイパーパラメータ駆動のモデル列を層別化し、ランダム初期化を組み合わせて二軸の多様性（ハイパーパラメータと初期化）を作り出す。
• バッチ・アンサンブルを拡張し、自己調整ネットワークを用いた層構造の組成を通じて、単一のトレーニング手順でウェイトとハイパーパラメータの多様性を実現する。
• 貪欲なアンサンブル構築（hyper_ens）を用いてランダム探索結果からモデルを選択し、重み付けのために置換を伴うアンサンブルを形成する。
• 各アンサンブルメンバーを、順位1因子分解とハイパーパラメータ埋め込みでウェイトが調整されるハイパーパラメータ条件付きレイヤーとしてモデル化（自己調整ネットワークの例のように）。
• ハイパーパラメータの分布に対する期待目的関数を最適化してアンサンブルを訓練し、崩壊を防ぐエントロピー項を伴う交互のトレーニングと調整ステップ（式(4)-(6)）.
• ハイパーバッチ・アンサンブルでは、各メンバーのウェイトを W_k(lambda_k) および b_k(lambda_k) として共有 W, Delta, r_k, s_k, e(lambda_k) を用いつつ、割り当て可能なバイアスにも同様に適用し、効率的なパラレルミニバッチを可能にする（式(7)-(9)）。

実験結果

リサーチクエスチョン

• RQ1 従来のディープ・アンサンブルを上回るには、ウェイト多様性（ランダム初期化）とハイパーパラメータ多様性の組み合わせは効果的か？
• RQ2 ハイパーディープ・アンサンブルとハイパーバッチ・アンサンブルは、アーキテクチャやデータセットを越えて頑健性と不確実性定量の利点を提供するか？
• RQ3 提案されたハイパーパラメータ認識レイヤは、バッチ・アンサンブルの記憶と計算の利点を保ったまま効果的に学習できるか？
• RQ4 エントロピー正則化を伴うハイパーパラメータ分布は、アンサンブルの性能と較正（ECE）にどのように影響するか？
• RQ5 標準的な画像分類ベンチマークにおける二つの提案スキームの経験的利得はどれくらいか？

主な発見

• ハイパーディープ・アンサンブルは、ハイパーパラメータと初期化の両方の多様性を活用することで、標準的なディープ・アンサンブルを一貫して上回る。
• ハイパーバッチ・アンサンブルはバッチ・アンサンブルと自己調整ネットワークを上回り、パラメータ効率が高くスケーラブルなアンサンブル多様性の道を提供する。
• 両手法とも、Fashion-MNIST、CIFAR-100、CIFAR-10/100におけるMLP、LeNet、ResNet-20、Wide ResNet-28-10で予測性能と不確実性指標の改善をもたらす。
• このアプローチは、以前の効率的なアンサンブル手法と同等のミニバッチ処理とメモリ使用量を維持しつつ、ハイパーパラメータの多様性を可能にする。
• 経験的結果は、ハイパーパラメータと初期化の階層分離が、基準よりも多様な予測と較正（ECE）を向上させることを示している。
• 提案手法はドロップイン置換として設計され、実装と再現のための公開コードが提供されている。