[论文解读] Active Learning with TensorBoard Projector

Francois Luus, Naweed Khan+1 more|arXiv (Cornell University)|Jan 3, 2019

Machine Learning and Data Classification参考文献 13被引用 10

一句话总结

本文提出了一种集成于TensorBoard Projector的交互式主动学习系统，利用半监督t-SNE进行视觉特征空间探索与标签传播，显著提升了标注效率。通过利用Barnes-Hut聚焦核建模人类感知同质性，并采用基于旋转的Exemplar-CNN进行无监督迁移学习，该方法在专业图像数据集上仅需少于100次标注操作即可实现高分类器准确率，优于不确定性采样方法。

ABSTRACT

An ML-based system for interactive labeling of image datasets is contributed in TensorBoard Projector to speed up image annotation performed by humans. The tool visualizes feature spaces and makes it directly editable by online integration of applied labels, and it is a system for verifying and managing machine learning data pertaining to labels. We propose realistic annotation emulation to evaluate the system design of interactive active learning, based on our improved semi-supervised extension of t-SNE dimensionality reduction. Our active learning tool can significantly increase labeling efficiency compared to uncertainty sampling, and we show that less than 100 labeling actions are typically sufficient for good classification on a variety of specialized image datasets. Our contribution is unique given that it needs to perform dimensionality reduction, feature space visualization and editing, interactive label propagation, low-complexity active learning, human perceptual modeling, annotation emulation and unsupervised feature extraction for specialized datasets in a production-quality implementation.

研究动机与目标

• 通过最小化人工标注工作量，提升专业图像数据集的标注效率。
• 将交互式可视化与标签传播集成到一个可投入生产的主动学习工具中。
• 评估半监督t-SNE与无监督迁移学习在降低标注成本方面的有效性。
• 通过局部同质性评估建模真实的人类标注行为，用于主动学习策略的基准测试。

提出的方法

• 系统使用基于旋转的Exemplar-CNN并采用ImageNet预训练权重提取无监督特征，可选择冻结或微调以实现迁移学习。
• 通过全局归一化吸引力、半监督排斥力以及平滑的标签整合，增强半监督t-SNE，以提升可视化效果与标签传播性能。
• 标注决策基于t-SNE投影中局部同质性的视觉评估，通过Barnes-Hut聚焦核模拟人类感知。
• 主动学习通过迭代选择具有高标注潜力的样本进行，依据聚类紧密度与预测置信度。
• 通过使用带有Dropout和SoftMax输出的前馈神经网络进行5折交叉验证评估分类器性能，每次标注操作后重新训练。
• 设计了一套真实的标注行为模拟框架，用于在不进行真人实验的情况下基准测试标注效率。

实验结果

研究问题

• RQ1 半监督t-SNE能否提升专业图像数据集在主动学习中的标注效率？
• RQ2 基于Exemplar-CNN的无监督迁移学习与ImageNet特征相比，在嵌入质量与标注效率方面表现如何？
• RQ3 基于局部同质性的交互式视觉标注在主动学习中是否显著优于不确定性采样？
• RQ4 与无监督t-SNE相比，改进的半监督t-SNE在标注效率上能带来多大提升？

主要发现

• 在血细胞数据集上，采用t-SNE标注的主动学习方法平均仅需65次标注操作即可达到超过80%的完整准确率，而不确定性采样方法需145次。
• 在花卉数据集上，t-SNE标注平均仅需37次操作即可达到80%准确率，而不确定性采样需151次。
• 来自VGG-16与Inception-ResNet-v2的Transfer-Frozen与Transfer特征优于ImageNet特征，分别在115次和123次操作内达到80%与81%的平均准确率。
• 在所有数据集上，f=0.1(10)的半监督t-SNE始终优于不确定性采样，尤其在血细胞与猴子等专业数据集上提升最为显著。
• 该系统在所有专业数据集上均以少于100次标注操作实现了高性能，证明了其强大的标注效率。
• 模拟框架表明，即使考虑真实的人类感知行为，t-SNE标注仍比不确定性采样更高效。