[论文解读] Test Distribution-Aware Active Learning: A Principled Approach Against Distribution Shift and Outliers

Andreas Kirsch, Tom Rainforth+1 more|arXiv (Cornell University)|Jun 22, 2021

Machine Learning and Algorithms参考文献 32被引用 7

一句话总结

本文提出测试分布感知主动学习（TDAAL），通过围绕预期预测信息增益（EPIG）及其批量兼容变体联合EPIG（JEPIG）重新定义获取函数，以解决主动学习中的分布偏移和异常值问题。与传统BALD方法优化模型参数不确定性不同，TDAAL直接针对测试分布下的预测不确定性进行优化，从而在分布偏移下实现更鲁棒且高效的标注，且JEPIG在标准和分布外（OoD）设置下均优于BALD。

ABSTRACT

Expanding on MacKay (1992), we argue that conventional model-based methods for active learning - like BALD - have a fundamental shortfall: they fail to directly account for the test-time distribution of the input variables. This can lead to pathologies in the acquisition strategy, as what is maximally informative for model parameters may not be maximally informative for prediction: for example, when the data in the pool set is more dispersed than that of the final prediction task, or when the distribution of pool and test samples differs. To correct this, we revisit an acquisition strategy that is based on maximizing the expected information gained about possible future predictions, referring to this as the Expected Predictive Information Gain (EPIG). As EPIG does not scale well for batch acquisition, we further examine an alternative strategy, a hybrid between BALD and EPIG, which we call the Joint Expected Predictive Information Gain (JEPIG). We consider using both for active learning with Bayesian neural networks on a variety of datasets, examining the behavior under distribution shift in the pool set.

研究动机与目标

• 为解决传统主动学习方法（如BALD）的局限性，这些方法优化的是模型参数不确定性而非目标测试分布上的预测性能。
• 探究基于预期预测信息增益（EPIG）的信息论获取函数是否在存在分布偏移或异常值时，比聚焦于参数的方法更有效。
• 为EPIG开发一种可扩展的批量获取变体，称为联合EPIG（JEPIG），适用于深度贝叶斯神经网络。
• 在标准主动学习和分布偏移条件下（特别是存在分布外，OoD，数据时）评估EPIG和JEPIG的性能。
• 证明聚焦于测试分布下的预测不确定性可带来更好的泛化能力，并减少对无关或异常样本的获取。

提出的方法

• 使用预期预测信息增益（EPIG）重新表述主动学习的获取过程，EPIG衡量的是对测试输入未来预测不确定性预期减少的程度，而非模型参数的不确定性。
• 将EPIG推导为关于预测分布 $p(y\mid x, \mathcal{D}^{\text{train}})$ 的信息增益期望，对测试输入分布进行边缘化。
• 提出一种批量兼容的变体——联合EPIG（JEPIG），联合优化一组测试输入上的预测不确定性，从而实现高效的批量获取。
• 利用蒙特卡洛Dropout和局部重参数化技术，高效近似贝叶斯神经网络中的后验分布，以计算EPIG和JEPIG得分。
• 在获取过程中使用一个独立的未标注评估集来表示测试分布，确保获取函数反映真实世界的预测目标。
• 集成分布外（OoD）拒收和OoD暴露策略，以评估在真实世界数据中对分布偏移的鲁棒性。

实验结果

研究问题

• RQ1 在测试分布下优化预测不确定性是否能带来比优化模型参数不确定性更好的主动学习性能，尤其是在分布偏移情况下？
• RQ2 当池集和测试集分布不一致时，EPIG与BALD在预测准确率和OoD样本获取方面相比如何？
• RQ3 EPIG的批量兼容版本（即JEPIG）是否能在保持性能的同时实现在深度学习中的高效获取？
• RQ4 JEPIG相对于EPIG的性能提升是源于更好的抽象学习能力，还是对评估集分布的更好处理？
• RQ5 使用更大且更具代表性的评估集在多大程度上能提升获取策略在分布偏移下的鲁棒性？

主要发现

• 在MNIST和MNISTx2上，JEPIG在标准主动学习中优于BALD，且在多次运行中均表现出一致的预测准确率提升。
• 在CIFAR-10上，JEPIG也优于SoftmaxBALD，表明其在更深模型和更复杂数据集中的有效性。
• 在分布偏移条件下，与BALD相比，JEPIG显著减少了对分布外（OoD）样本的获取（例如，在MNIST测试集中获取FashionMNIST样本），同时保持或提升了准确率。
• 在MNIST和FashionMNIST的实验中，JEPIG在OoD拒收和OoD暴露模式下获取的OoD样本更少，表明其具有更好的鲁棒性。
• 在CIFAR-10和SVHN上，JEPIG在分布偏移条件下除一种组合外均优于BALD，且获取的OoD样本更少。
• 消融研究显示，更大的评估集能带来更好的性能，证实了代表性测试分布对获取策略的重要性。