[論文レビュー] Concrete Dropout

Yarin Gal, Jiri Hron+1 more|arXiv (Cornell University)|May 22, 2017

Adversarial Robustness in Machine Learning参考文献 19被引用数 123

ひとこと要約

この論文では、最適なドロップアウト率のエンドツーエンド学習を可能にする、従来のドロップアウトの微分可能で連続的な緩和版であるConcrete Dropoutを提案する。ドロップアウトをコンクリート分布による連続的な確率的ゲートとして定式化することで、訓練中に自動的・適応的にドロップアウト率を最適化可能となり、不確実性のキャリブレーションが向上し、手動によるグリッドサーチへの依存が軽減される。特に大規模モデルや強化学習の文脈において顕著な利点を示す。

ABSTRACT

Dropout is used as a practical tool to obtain uncertainty estimates in large vision models and reinforcement learning (RL) tasks. But to obtain well-calibrated uncertainty estimates, a grid-search over the dropout probabilities is necessary - a prohibitive operation with large models, and an impossible one with RL. We propose a new dropout variant which gives improved performance and better calibrated uncertainties. Relying on recent developments in Bayesian deep learning, we use a continuous relaxation of dropout's discrete masks. Together with a principled optimisation objective, this allows for automatic tuning of the dropout probability in large models, and as a result faster experimentation cycles. In RL this allows the agent to adapt its uncertainty dynamically as more data is observed. We analyse the proposed variant extensively on a range of tasks, and give insights into common practice in the field where larger dropout probabilities are often used in deeper model layers.

研究の動機と目的

• 従来のドロップアウトを用いた深層学習モデルにおける不確実性推定のキャリブレーションが不十分であるという課題に対処すること。
• 大規模モデルや強化学習の文脈において、ドロップアウト確率の手動によるグリッドサーチの必要性を排除すること。
• 離散的なドロップアウトマスクの連続的緩和を用いて、最適なドロップアウト率のエンドツーエンド学習を可能にすること。
• 特に深層アーキテクチャや強化学習環境において、不確実性のキャリブレーションと訓練効率を向上させること。

提案手法

• 離散的なドロップアウトマスクをコンクリート分布を用いて連続的緩和することで、ドロップアウト率の勾配ベース最適化を可能にする。
• 微分可能な温度パラメータが緩和の鋭さを制御し、訓練中に最適なドロップアウト確率をモデルが学習可能である。
• 提案された目的関数は、ベイジアンディープラーニングフレームワークを介して不確実性推定を訓練プロセスに統合する。
• バックプロパゲーションを用いてエンドツーエンドでモデルを訓練し、ドロップアウト率を学習可能なパラメータとして扱う。
• 訓練中に不確実性を動的に適応可能とし、データが逐次的に得られる強化学習の文脈で特に有効である。
• 標準的なディープラーニングフレームワークと互換性があり、大規模モデルへのスケーリングも効率的である。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトの連続的緩和は、深層ニューラルネットワークにおける不確実性キャリブレーションを向上させるか？
• RQ2 ドロップアウト率のエンドツーエンド学習は、大規模モデルにおける手動ハイパーパramータチューニングの必要性を排除できるか？
• RQ3 固定されたドロップアウト率を用いた標準的なドロップアウトと比較して、Concrete Dropoutはキャリブレーションと精度の面でどのように性能を発揮するか？
• RQ4 強化学習環境において、訓練中に不確実性推定を動的に調整できるか？
• RQ5 深層アーキテクチャにおける異なる層で学習されたドロップアウト率はどのように変化するか？

主な発見

• Concrete Dropoutは、固定されたドロップアウト率を用いた標準的なドロップアウトと比較して、特に深層ネットワークのより深い層において、よりキャリブレーションされた不確実性推定を達成する。
• 手動によるハイパーパramータチューニングの必要性が低減され、実験サイクルが高速かつ効率的になる。
• 強化学習では、エージェントが観測するデータが増えるにつれて不確実性推定を動的に適応させることができ、サンプル効率が向上する。
• 学習されたドロップアウト率は、より深い層で高くなる傾向にあり、分野の一般的な経験的実践と整合する。
• 複数のベンチマークタスクにおいて、モデルの精度を維持または向上させつつ、より信頼性の高い不確実性推定を提供する。
• 連続的緩和により、ドロップアウトゲートを介した有効なバックプロパゲーションが可能となり、ドロップアウト率が学習可能なパラメータとして扱えるようになる。