[论文解读] Active Decision Boundary Annotation with Deep Generative Models

Miriam W. Huijser, Jan C. van Gemert|arXiv (Cornell University)|Mar 20, 2017

Machine Learning and Algorithms参考文献 35被引用 5

一句话总结

本文提出了一种基于深度生成模型的主动决策边界标注方法，以减少主动学习中的标注工作量。与传统标注单个数据样本不同，该方法在潜在空间轨迹上生成一维的合成图像序列，并请人工标注者识别分类预测发生变化的位置——直接标注决策边界。该方法在MNIST、SVHN和CIFAR-10数据集上均显著提升了分类性能，相较于传统基于样本的主动学习方法，提升效果具有统计学显著性。

ABSTRACT

This paper is on active learning where the goal is to reduce the data annotation burden by interacting with a (human) oracle during training. Standard active learning methods ask the oracle to annotate data samples. Instead, we take a profoundly different approach: we ask for annotations of the decision boundary. We achieve this using a deep generative model to create novel instances along a 1d line. A point on the decision boundary is revealed where the instances change class. Experimentally we show on three data sets that our method can be plugged-in to other active learning schemes, that human oracles can effectively annotate points on the decision boundary, that our method is robust to annotation noise, and that decision boundary annotations improve over annotating data samples.

研究动机与目标

• 通过将关注点从标注单个数据样本转向标注决策边界，减轻主动学习中的人工标注负担。
• 使人工标注者能够高效识别潜在空间中生成的一维合成图像序列上的类别变化点。
• 通过引入比标准样本标注更具信息量的边界标注，提升模型性能。
• 评估该边界标注方法在噪声和生成模型质量变化条件下的鲁棒性与实用性。
• 证明边界标注方法可无缝集成到现有的主动学习查询策略中。

提出的方法

• 使用深度生成模型将K维潜在空间中的一维线映射为一系列合成视觉样本。
• 将生成的图像序列以图像行的形式展示给人工标注者，由其识别类别标签发生变化的点。
• 将识别出的变化点视为边界标注，其在特征空间中靠近真实的决策边界。
• 利用已标注的数据样本和边界标注联合训练线性分类器，以提升泛化能力。
• 将边界标注方法集成到标准主动学习流程中，如不确定性采样和基于委员会的查询。
• 使用变分自编码器学习潜在表征，并在查询线上生成多样化且逼真的样本。

实验结果

研究问题

• RQ1 人工标注者能否通过观察一维潜在空间线上生成的图像序列，可靠地识别出决策边界？
• RQ2 与基于样本的传统主动学习相比，采用决策边界标注的主动学习性能如何？
• RQ3 该方法对标注噪声和生成模型质量变化的鲁棒性如何？
• RQ4 边界标注方法能否有效与标准主动学习查询策略结合？
• RQ5 该方法在不同数据集和类别对（包括非线性可分数据）上是否具备泛化能力？

主要发现

• 在MNIST和SVHN数据集上，所提出的边界标注方法分别取得了148.3 ± 0.04和130.9 ± 1.9的平均AULC，显著优于基于样本的主动学习（p < 0.05）。
• 该方法在MNIST和SVHN的所有类别对中均表现出一致的性能提升，相较于基于样本的学习，AULC平均提升3.1分。
• 在CIFAR-10数据集上使用GIST特征时，该方法在AUROC提升方面优于EH-Hash基线，证明其在MNIST和SVHN之外也具备泛化能力。
• 当生成模型产生高质量、视觉连贯的样本时，人工标注者能够稳定地标注出决策边界。
• 该方法对标注噪声具有鲁棒性，即使边界标注中存在错误，性能增益依然保持。
• 该方法成功集成到多种查询策略中，包括不确定性采样，表明其与现有主动学习框架具有良好的兼容性。