[论文解读] Adversarial Active Learning for Deep Networks: a Margin Based Approach
DFAL 通过 DeepFool 计算最小的对抗扰动，选择距离决策边界最近的未标记样本，从而在 MNIST、Shoe-Bag 与 Quick-Draw 的 CNN 中实现更快的收敛和更鲁棒的性能。
We propose a new active learning strategy designed for deep neural networks. The goal is to minimize the number of data annotation queried from an oracle during training. Previous active learning strategies scalable for deep networks were mostly based on uncertain sample selection. In this work, we focus on examples lying close to the decision boundary. Based on theoretical works on margin theory for active learning, we know that such examples may help to considerably decrease the number of annotations. While measuring the exact distance to the decision boundaries is intractable, we propose to rely on adversarial examples. We do not consider anymore them as a threat instead we exploit the information they provide on the distribution of the input space in order to approximate the distance to decision boundaries. We demonstrate empirically that adversarial active queries yield faster convergence of CNNs trained on MNIST, the Shoe-Bag and the Quick-Draw datasets.
研究动机与目标
- 提高动机并降低在训练深度网络时的数据标注成本。
- 开发适用于 CNN 的基于边际的主动学习准则。
- 利用对抗扰动来近似到决策边界的距离，而无需完整边界计算。
- 在多个数据集上演示 DFAL 方法的经验效率和鲁棒性。
提出的方法
- 提出一种名为 DFAL（DeepFool Active Learning）的基于边际的深度网络主动学习启发式方法。
- 使用 DeepFool 计算未标记样本的最小对抗扰动，并选择扰动最小的样本。
- 对所选样本查询标签，并将它们的对抗样本（同一标签）作为伪增强数据一起加入。
- 在扩展后的标记集上迭代训练网络，避免因基于扰动成对而引入错标签。
- DFAL 无超参数，且通过对抗样例正则化来强调鲁棒性。
- 展示 DFAL 选择的数据在不同架构之间的可迁移性。
实验结果
研究问题
- RQ1对抗扰动能否为 CNN 的距离决策边界提供可靠的代理？
- RQ2基于 DeepFool 的主动查询策略是否在标注效率方面优于基于不确定性或随机采样的常规方法？
- RQ3DFAL 选择的样本在不重新训练选择器的情况下能否迁移到其他架构？
- RQ4在准确性和运行时间方面，DFAL 相较于最先进的批量主动学习方法表现如何？
主要发现
- DFAL 在多种 CNN 架构和数据集上始终比随机选择实现更快的收敛和更高的测试准确率。
- DFAL 与最先进的批量方法（如 CORE-SET）在准确性上具有竞争力，且在运行时显著更快，且在许多情况下优于它们。
- DFAL 在每次迭代中使用固定数量的额外查询，且通常只添加极少比例的训练数据作为标注数据，避免过度标注。
- DFAL 展示出可迁移性，为一个架构选择的数据在用于训练另一个架构时也能带来收益。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。