[论文解读] Learning Loss for Test-Time Augmentation

Ildoo Kim, Young-Hoon Kim+1 more|arXiv (Cornell University)|Oct 22, 2020

Advanced Neural Network Applications参考文献 55被引用 38

一句话总结

本文提出一种实例感知的测试时增强（test-time augmentation）方法，使用一个损失预测模块来为每个测试输入选择最具潜力的变换，在最小额外成本下提高鲁棒性。它在 CIFAR-100-C 与 ImageNet-C 上相对于标准 TTA 方法显示出性能提升。

ABSTRACT

Data augmentation has been actively studied for robust neural networks. Most of the recent data augmentation methods focus on augmenting datasets during the training phase. At the testing phase, simple transformations are still widely used for test-time augmentation. This paper proposes a novel instance-level test-time augmentation that efficiently selects suitable transformations for a test input. Our proposed method involves an auxiliary module to predict the loss of each possible transformation given the input. Then, the transformations having lower predicted losses are applied to the input. The network obtains the results by averaging the prediction results of augmented inputs. Experimental results on several image classification benchmarks show that the proposed instance-aware test-time augmentation improves the model's robustness against various corruptions.

研究动机与目标

• 在强有力的训练时增强的同时，使用固定的测试时增强会暴露鲁棒性问题的动机。
• 引入一个实例感知的框架，根据预测损失动态选择测试时变换。
• 通过将损失预测模块与目标网络分离，训练过程保持紧凑高效，避免额外的推理开销。
• 在 CIFAR-100-C 与 ImageNet-C 的常见降级上对鲁棒性提升进行评估。

提出的方法

• 定义一个中等、离散化的变换空间（旋转、缩放、颜色、对比度、清晰度）。
• 训练一个独立的损失预测网络，以在给定输入时估计每种变换的相对损失。
• 使用排序损失训练损失预测器，使其预测损失与真实相对损失相关。
• 在测试时，选择预测损失最低的前 k 种变换，并对这些变换后的输入的目标模型输出进行平均。
• 在训练损失预测器时保持目标网络固定，以避免额外的推理成本。
• 与常规测试时增强和贪婪策略搜索方法进行比较。

实验结果

研究问题

• RQ1 实例特定的测试时增强是否能提升对降级的鲁棒性，超出固定 TTA 策略？
• RQ2 轻量级的损失预测模块在估计候选变换的相对损失方面有多高的有效性？
• RQ3 使用前 k 个实例感知增强时，在计算成本与准确率之间的权衡是什么？
• RQ4 实例感知的增强是否能推广到未见的降级并保持干净集的性能？

主要发现

• 该方法在带来最小测试时成本的前提下，稳定提升在降级数据集上的鲁棒性。
• 使用 k=1 或 k=2 的增强输入在 Center-Crop、Horizontal-Flip、5-Crops 基线上取得显著收益。
• 该方法在 ImageNet-C 上可以超越基于 GPS 的策略搜索，同时带来更低的计算成本。
• 损失预测器保持紧凑高效，对推理开销贡献很小。
• 与某些训练时增强基线相比，该方法对 hold-out 附加降级的泛化性能更强。