[论文解读] Algorithm Selection for Deep Active Learning with Imbalanced Datasets

Jifan Zhang, Shuai Shao+2 more|arXiv (Cornell University)|Feb 14, 2023

Machine Learning and Algorithms被引用 5

一句话总结

该论文提出 TAILOR，首个用于深度主动学习的自适应算法选择框架，通过结合新颖的奖励函数（强调类别平衡）的多臂赌博机方法，动态地在多个候选主动学习算法中进行选择。TAILOR 在十个多类别和多标签数据集上实现了最先进的准确率，并在类别多样性方面表现更优，通过有效结合策略，优于单一基线模型和现有元算法。

ABSTRACT

Label efficiency has become an increasingly important objective in deep learning applications. Active learning aims to reduce the number of labeled examples needed to train deep networks, but the empirical performance of active learning algorithms can vary dramatically across datasets and applications. It is difficult to know in advance which active learning strategy will perform well or best in a given application. To address this, we propose the first adaptive algorithm selection strategy for deep active learning. For any unlabeled dataset, our (meta) algorithm TAILOR (Thompson ActIve Learning algORithm selection) iteratively and adaptively chooses among a set of candidate active learning algorithms. TAILOR uses novel reward functions aimed at gathering class-balanced examples. Extensive experiments in multi-class and multi-label applications demonstrate TAILOR's effectiveness in achieving accuracy comparable or better than that of the best of the candidate algorithms. Our implementation of TAILOR is open-sourced at https://github.com/jifanz/TAILOR.

研究动机与目标

• 为解决在类别不平衡设置下，针对特定数据集选择最有效主动学习算法的挑战，尤其在不同方法间性能差异显著的情况下。
• 开发一种通用的、自适应的框架，可在有限交互轮次内从数百个候选深度主动学习算法中进行选择。
• 通过设计优先关注各类别间平衡表示的奖励函数，提升主动学习中的标签效率与类别多样性。
• 通过遗憾分析提供理论依据，表明 TAILOR 的性能优于朴素地简化为线性上下文赌博机的基线方法。
• 在多样化的多类别和多标签基准上，通过实证验证 TAILOR 在准确率和标签效率方面均优于单一基线算法和现有元算法。

提出的方法

• 将主动学习算法选择任务建模为多臂赌博机问题，其中每个动作（arm）对应一个候选主动学习算法。
• 提出新颖的奖励函数，用于度量类别平衡的启发性，特别鼓励选择能提升已标注类别多样性的样本。
• 采用基于 Thompson 采样的策略，在迭代过程中平衡探索与利用，以选择最优算法。
• 支持批量和在线两种设置，奖励在每次迭代后揭示，以指导自适应选择。
• 为多类别和多标签设置分别设计奖励函数：一个强调平衡准确率与类别多样性，另一个聚焦于主动搜索，以最大化正样本的收集。
• 引入遗憾分析，表明 TAILOR 的理论性能边界优于朴素地简化为线性上下文赌博机的方法。

实验结果

研究问题

• RQ1 能否设计一种自适应元算法，为给定的未标注数据集选择最佳深度主动学习策略，尤其在类别不平衡场景下？
• RQ2 如何设计奖励函数，以在主动学习中同时促进信息量与类别多样性？
• RQ3 TAILOR 在多样化的数据集上是否在准确率和标签效率方面均优于单一基线算法和现有元算法？
• RQ4 TAILOR 是否能有效结合多个候选算法，实现超越任一单一算法的性能？
• RQ5 TAILOR 在多标签主动学习中的表现如何，特别是在最大化收集正样本数量方面？

主要发现

• 在十个数据集中的九个上，TAILOR 的准确率与最佳性能的单一基线算法相当或更优，尤其在 CelebA 数据集上差距显著。
• 在全部十个数据集上，TAILOR 收集的标注集类别平衡程度与最佳基线算法相当，其中四个数据集表现出更优的类别多样性。
• 在多标签主动搜索任务中，TAILOR 在四个数据集中的三个上收集的正样本总数超过最佳基线，第四组数据集则与之持平。
• TAILOR 的消融实验表明，其显著提升了最罕见类别的准确率，表明其在少数类上的表现强劲。
• 该框架展现出鲁棒性，其算法选择比现有元算法更积极，且选择模式与表现最佳的基线高度一致。
• 尽管在 Caltech256 上准确率低于置信度采样，TAILOR 仍实现了更优的类别多样性，凸显其在类别表示平衡方面的优势。