[论文解读] Concrete Dropout

Yarin Gal, Jiri Hron+1 more|arXiv (Cornell University)|May 22, 2017

Adversarial Robustness in Machine Learning参考文献 19被引用 123

一句话总结

本文提出 Concrete Dropout，一种可微分的、传统 dropout 的连续松弛方法，可在深度神经网络中实现最优 dropout 率的端到端学习。通过使用 concrete 分布将 dropout 表征为连续的随机门，该方法可在训练过程中自动、自适应地调整 dropout 率，从而改善不确定性校准并减少对手动网格搜索的依赖——尤其在大型模型和强化学习设置中具有显著优势。

ABSTRACT

Dropout is used as a practical tool to obtain uncertainty estimates in large vision models and reinforcement learning (RL) tasks. But to obtain well-calibrated uncertainty estimates, a grid-search over the dropout probabilities is necessary - a prohibitive operation with large models, and an impossible one with RL. We propose a new dropout variant which gives improved performance and better calibrated uncertainties. Relying on recent developments in Bayesian deep learning, we use a continuous relaxation of dropout's discrete masks. Together with a principled optimisation objective, this allows for automatic tuning of the dropout probability in large models, and as a result faster experimentation cycles. In RL this allows the agent to adapt its uncertainty dynamically as more data is observed. We analyse the proposed variant extensively on a range of tasks, and give insights into common practice in the field where larger dropout probabilities are often used in deeper model layers.

研究动机与目标

• 为解决使用传统 dropout 时深度学习模型不确定性估计校准不佳的问题。
• 消除在大型模型和强化学习中对 dropout 概率进行手动网格搜索的需求。
• 通过离散 dropout 掩码的连续松弛，实现最优 dropout 率的端到端学习。
• 改善深度网络中的不确定性校准和训练效率，尤其在更深的网络架构和强化学习环境中。

提出的方法

• 该方法利用 concrete 分布对离散 dropout 掩码进行连续松弛，从而实现对 dropout 率的基于梯度的优化。
• 一个可微分的温度参数控制松弛的锐度，使模型能够在训练过程中学习最优的 dropout 概率。
• 所提出的目标函数通过贝叶斯深度学习框架将不确定性估计整合到训练过程中。
• 模型通过反向传播进行端到端训练，其中 dropout 率被视为可学习参数。
• 该方法可在训练过程中动态调整不确定性，尤其在数据具有序列性的强化学习环境中具有重要价值。
• 该方法与标准深度学习框架兼容，并能高效扩展至大型模型。

实验结果

研究问题

• RQ1 dropout 的连续松弛是否能改善深度神经网络中的不确定性校准？
• RQ2 dropout 率的端到端学习是否能消除在大型模型中对手动超参数调优的需求？
• RQ3 与固定率的标准 dropout 相比，Concrete Dropout 在校准性和准确性方面表现如何？
• RQ4 该方法是否能在强化学习环境中动态调整训练过程中的不确定性估计？
• RQ5 在更深的网络架构中，不同层的 learned dropout 率如何变化？

主要发现

• 与固定率的标准 dropout 相比，Concrete Dropout 在更深的网络层中实现了更优的不确定性校准。
• 该方法减少了对手动超参数调优的需求，从而加快并提升了实验迭代效率。
• 在强化学习中，智能体在观察到更多数据后能动态调整其不确定性估计，从而提升样本效率。
• 所学得的 dropout 率在更深的层中更高，与领域内常见的经验实践一致。
• 该方法在保持或提升模型准确率的同时，为多个基准任务提供了更可靠的不确定性估计。
• 连续松弛使得通过 dropout 门的有效反向传播成为可能，从而使 dropout 率成为可学习参数。