[论文解读] FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear Modulation

Mehmet Özgür Türkoglu, Alexander Becker+7 more|arXiv (Cornell University)|May 31, 2022

Adversarial Robustness in Machine Learning被引用 14

一句话总结

FiLM-Ensemble 通过使用逐特征线性调制（FiLM）在单个网络内创建多样化的模型成员，提出了一种计算效率高、隐式的深度集成方法，用于概率深度学习。通过使用可学习参数调制激活值，该方法在仅使用极小部分内存和计算资源的情况下，实现了几乎与显式集成相当的不确定性估计，在校准性和预测性能方面优于其他隐式集成方法。

ABSTRACT

The ability to estimate epistemic uncertainty is often crucial when deploying machine learning in the real world, but modern methods often produce overconfident, uncalibrated uncertainty predictions. A common approach to quantify epistemic uncertainty, usable across a wide class of prediction models, is to train a model ensemble. In a naive implementation, the ensemble approach has high computational cost and high memory demand. This challenges in particular modern deep learning, where even a single deep network is already demanding in terms of compute and memory, and has given rise to a number of attempts to emulate the model ensemble without actually instantiating separate ensemble members. We introduce FiLM-Ensemble, a deep, implicit ensemble method based on the concept of Feature-wise Linear Modulation (FiLM). That technique was originally developed for multi-task learning, with the aim of decoupling different tasks. We show that the idea can be extended to uncertainty quantification: by modulating the network activations of a single deep network with FiLM, one obtains a model ensemble with high diversity, and consequently well-calibrated estimates of epistemic uncertainty, with low computational overhead in comparison. Empirically, FiLM-Ensemble outperforms other implicit ensemble methods, and it and comes very close to the upper bound of an explicit ensemble of networks (sometimes even beating it), at a fraction of the memory cost.

研究动机与目标

• 为解决显式深度集成在实际部署中计算和内存成本过高的问题。
• 在不显著增加推理或训练开销的前提下，提升深度神经网络的不确定性校准性能。
• 探究原本用于多任务学习的逐特征线性调制（FiLM）是否能够隐式创建多样化且校准良好的模型成员。
• 开发一种方法，其性能可与显式集成相当或更优，同时大幅降低资源需求。

提出的方法

• 该方法使用一个共享的深度神经网络，其中包含多个FiLM模块，每个模块对激活值应用可学习的缩放和偏移参数。
• 每个FiLM模块作为独立的模型成员，通过不同的调制参数生成多样化的预测结果。
• 所有网络权重在成员之间共享，仅FiLM参数按成员分别训练，从而最小化额外参数数量。
• 通过多次使用不同调制向量的FiLM调制前向传播，聚合预测结果形成集成。
• 该方法隐式实现了对模型空间的蒙特卡洛采样，无需存储或计算独立的网络。
• 该方法与标准训练流程兼容，可应用于各种架构，包括ResNets。

实验结果

研究问题

• RQ1 能否利用逐特征线性调制（FiLM）隐式创建计算开销极小的多样化深度神经网络集成？
• RQ2 FiLM-Ensemble 的不确定性校准性能与显式深度集成及其他隐式集成方法相比如何？
• RQ3 FiLM-Ensemble 在显著减少内存和计算资源使用的情况下，能在多大程度上匹配或超越显式集成的预测性能和不确定性校准？
• RQ4 使用FiLM进行集成构建的方法是否在不同架构和数据集上具有泛化能力？

主要发现

• FiLM-Ensemble 在不确定性校准和预测性能方面与显式深度集成相当甚至更优，尤其在图像分类基准上表现突出。
• 与16个网络的显式集成相比，该方法将内存成本降低了16倍，同时保持或提升了校准指标。
• 在CIFAR-10和CIFAR-100数据集上，FiLM-Ensemble 在准确率和不确定性校准方面均优于其他隐式集成方法，如BatchEnsemble和MIMO。
• 该模型在分布偏移下表现出强大的泛化能力，其不确定性估计能可靠地反映预测错误率。
• 该方法在不同网络架构（包括ResNet-18）上表现出鲁棒性，并通过FiLM调制保持了成员间的高度多样性。
• 实证结果表明，在某些场景下，FiLM-Ensemble 的认知不确定性估计优于显式集成，表明其在模型多样性和泛化能力方面具有潜在优势。