[论文解读] Multi-Domain Active Learning: Literature Review and Comparative Study

Rui He, Shengcai Liu+2 more|arXiv (Cornell University)|Jun 25, 2021

Machine Learning and Algorithms被引用 5

一句话总结

该论文通过将六种多领域学习（MDL）模型与五种主动学习（AL）策略相结合，提出了一套全面的多领域主动学习（MDAL）流程，在六个文本和视觉数据集上评估了30种算法组合。主要发现是，简单的BvSB（最佳与第二佳）不确定性策略在性能上可与最先进AL方法相媲美，且BvSB与MAN（多项式对抗网络）模型的组合在所有数据集中均持续表现出最佳或平均水平以上的性能。

ABSTRACT

Multi-domain learning (MDL) refers to learning a set of models simultaneously, where each model is specialized to perform a task in a particular domain. Generally, a high labeling effort is required in MDL, as data needs to be labeled by human experts for every domain. Active learning (AL) can be utilized in MDL to reduce the labeling effort by only using the most informative data. The resultant paradigm is termed multi-domain active learning (MDAL). In this work, we provide an exhaustive literature review for MDAL on the relevant fields, including AL, cross-domain information sharing schemes, and cross-domain instance evaluation approaches. It is found that the few studies which have been directly conducted on MDAL cannot serve as off-the-shelf solutions on more general MDAL tasks. To fill this gap, we construct a pipeline of MDAL and present a comprehensive comparative study of thirty different algorithms, which are established by combining six representative MDL models and five commonly used AL strategies. We evaluate the algorithms on six datasets involving textual and visual classification tasks. In most cases, AL brings notable improvements to MDL, and the naive BvSB (best vs. second best) Uncertainty strategy can perform competitively with the state-of-the-art AL strategies. Besides, BvSB with the MAN (multinomial adversarial networks) model can consistently achieve top or above-average performance on all the datasets. Furthermore, we qualitatively analyze the behaviors of the well-performed strategies and models, shedding light on their superior performance in the comparison. Finally, we recommend using BvSB with the MAN model in the application of MDAL due to their good performance in the experiments.

研究动机与目标

• 通过整合主动学习（AL）以减少人工标注工作量，解决多领域学习（MDL）中的高标注成本问题。
• 识别适用于通用MDAL任务的MDL模型与AL策略的有效组合，超越临时性或模型特定的解决方案。
• 提供一个标准化、可重用的MDAL流程，支持基于神经网络的现代MDL模型与传统AL策略。
• 通过实证方法在多个数据集和任务上评估并比较多样化MDAL配置的性能。

提出的方法

• 构建一个模块化的MDAL流程，将六种代表性MDL模型（如MAN、SDL-joint、PACs）与五种常见AL策略（如不确定性、BADGE、随机）相结合。
• 在MDL模型中采用共享-私有架构，以实现领域特定与领域共享的特征学习，提升泛化能力和鲁棒性。
• 采用基于池的主动学习，即模型根据不确定性、多样性或查询策略从池中选择最具信息量的样本。
• 引入归纳偏置，如基于梯度的嵌入和k-means聚类，以分析选择过程中批次的多样性与模型行为。
• 使用肘部法确定最优聚类数（k），以评估所选样本的批次内多样性。
• 使用交叉熵损失端到端训练模型，并在域内和域外任务上使用标准指标（如准确率）评估性能。

实验结果

研究问题

• RQ1 在多样化的文本和视觉多领域分类任务中，MDL模型与AL策略的不同组合表现如何？
• RQ2 在MDAL设置中，简单的基于不确定性的AL策略（如BvSB）是否能超越更复杂的最先进AL方法？
• RQ3 MDL模型与AL策略的哪些结构和行为特性有助于在多个领域中实现更优的泛化与鲁棒性？
• RQ4 MDAL中固有的批次内多样性在多大程度上缓解了单领域主动学习中常见的冗余问题？
• RQ5 领域冲突与模型初始化如何影响MDAL中联合训练与领域特定学习的性能？

主要发现

• 朴素的BvSB（最佳与第二佳）不确定性策略在所有六个数据集上均表现出与最先进AL策略相当的性能，通常达到最佳或接近最佳水平。
• BvSB不确定性策略与MAN（多项式对抗网络）模型的组合在所有数据集中均持续实现最佳或高于平均水平的性能，展现出卓越的鲁棒性与泛化能力。
• MAN模型中的共享-私有架构是其性能优越的关键因素，能够有效实现领域特定与领域共享的表征学习。
• 与随机选择相比，BvSB和BADGE策略所选样本的批次内多样性显著更高，且BvSB的多样性水平接近以高多样性著称的BADGE策略。
• 由于多领域带来的批次内多样性提升，不确定性策略的典型弱点——重复选择相似样本——在MDAL中得到有效缓解。
• SDL-joint在Digits数据集上表现最佳，得益于联合训练的优势；但当存在领域冲突或使用强预训练时，其性能下降，凸显了其在处理冲突标签方面的局限性。