[论文解读] Notes on the Behavior of MC Dropout

Francesco Verdoja, Ville Kyrki|arXiv (Cornell University)|Aug 6, 2020

Adversarial Robustness in Machine Learning参考文献 16被引用 27

一句话总结

本文对深度神经网络中蒙特卡洛丢弃（MCD）的不确定性估计进行了理论和实证分析，揭示了MCD不确定性本质上存在偏差，且与网络输出幅度和丢弃率成比例。研究证明，MCD方差取决于网络架构选择——尤其是丢弃层的位置和丢弃率——而非数据方差，强调在获得可靠不确定性估计时需谨慎调整超参数并设计网络架构。

ABSTRACT

Among the various options to estimate uncertainty in deep neural networks, Monte-Carlo dropout is widely popular for its simplicity and effectiveness. However the quality of the uncertainty estimated through this method varies and choices in architecture design and in training procedures have to be carefully considered and tested to obtain satisfactory results. In this paper we present a study offering a different point of view on the behavior of Monte-Carlo dropout, which enables us to observe a few interesting properties of the technique to keep in mind when considering its use for uncertainty estimation.

研究动机与目标

• 理解蒙特卡洛丢弃（MCD）在简单线性网络中的理论行为，并将洞察推广至更深的非线性模型。
• 识别影响MCD不确定性估计质量的关键架构与训练选择。
• 修正并扩展先前关于MCD的理论分析，特别是关于最优权重收敛与期望输出偏差的问题。
• 在复杂网络上实证验证理论发现，即不确定性随输出幅度和丢弃率的变化规律。
• 为实践者提供指导，帮助其选择合适的丢弃率和层位置，以提升真实应用场景中不确定性校准的效果。

提出的方法

• 对带丢弃的单层线性网络进行理论分析，利用伯努利分布的丢弃掩码推导期望输出与方差。
• 推导最小化均方误差的最优权重，表明当权重均匀收敛时，期望输出存在系统性偏差。
• 以丢弃率 $p_d$ 和网络规模 $K$ 表达期望输出与方差，揭示其依赖于 $p_d$ 和 $K$，但与数据规模或方差无关。
• 在具有已知真实不确定性的人工数据集上对非线性网络进行实证评估，包括带噪声的常数函数和确定性函数。
• 比较不同架构下MCD不确定性表现：最终层是否包含偏置项，以及不同丢弃率下的表现。
• 对每个输入执行300次前向传播以估计均值与标准差，将不确定性可视化为 $\sigma$、$2\sigma$ 和 $3\sigma$ 区间。

实验结果

研究问题

• RQ1 当权重均匀收敛时，蒙特卡洛丢弃网络的期望输出与真实目标之间的偏差如何？
• RQ2 在单层线性模型中，MCD方差对丢弃率 $p_d$ 和网络规模 $K$ 的依赖关系如何？
• RQ3 为何MCD不确定性不会随数据规模增加而集中？这对不确定性校准有何影响？
• RQ4 最终层中是否存在偏置项，如何影响MCD不确定性估计？
• RQ5 MCD不确定性在多大程度上与网络预测输出的幅度成比例？

主要发现

• 线性MCD网络的期望输出相对于真实目标存在偏差，且随着网络规模 $K$ 增大，偏差减小。
• MCD预测的方差依赖于丢弃率 $p_d$ 和单元数量 $K$，但与训练样本数 $n$ 或数据方差无关。
• 当最终线性层包含偏置项时，MCD可能通过将所有权重值设为零并由偏置编码输出，完全抑制不确定性，导致方差为零。
• 当最终层无偏置项时，MCD产生与丢弃率 $p_d$ 成比例的恒定不确定性，与输入无关，但依赖于输出幅度。
• MCD不确定性与预测输出的幅度成比例，这在输出范围广泛的任务中可能降低不确定性质量。
• 线性模型中的理论洞察在更深的非线性网络中依然成立，证实丢弃率与层位置对不确定性校准具有决定性影响。