[论文解读] Multi-Domain Adversarial Learning

Alice Schoenauer-Sebag, Louise Heinrich+4 more|arXiv (Cornell University)|Mar 21, 2019

Cell Image Analysis Techniques被引用 23

一句话总结

本文提出 MuLann，一种多领域对抗学习框架，将领域对抗神经网络扩展至半监督多领域学习，实现跨具有重叠但不同类别集合及不同标签可用性的数据集的鲁棒模型泛化。该方法引入一种新型损失函数和基于 H-差异的理论边界，以最小化平均和最坏情况下的领域风险，实现在图像基准和新型生物图像数据集 Cell 上的最先进性能。

ABSTRACT

Multi-domain learning (MDL) aims at obtaining a model with minimal average risk across multiple domains. Our empirical motivation is automated microscopy data, where cultured cells are imaged after being exposed to known and unknown chemical perturbations, and each dataset displays significant experimental bias. This paper presents a multi-domain adversarial learning approach, MuLANN, to leverage multiple datasets with overlapping but distinct class sets, in a semi-supervised setting. Our contributions include: i) a bound on the average- and worst-domain risk in MDL, obtained using the H-divergence; ii) a new loss to accommodate semi-supervised multi-domain learning and domain adaptation; iii) the experimental validation of the approach, improving on the state of the art on two standard image benchmarks, and a novel bioimage dataset, Cell.

研究动机与目标

• 为解决在具有不同实验偏差和不完整类别覆盖的多个生物成像数据集中学习鲁棒模型的挑战。
• 将领域对抗学习扩展至具有半监督学习的多领域设置，适应每个领域中标签和未标签样本数量不同的情况。
• 基于 H-差异，为在多个领域上训练的模型的平均和最坏领域风险提供理论边界，以确保跨领域的泛化能力。
• 设计一种新损失函数，以处理类别不对称性，并在标签数据极少时实现在不同领域之间的知识迁移。
• 在标准图像基准和新型生物图像数据集 Cell 上对方法进行实证验证，证明其在性能上优于最先进方法。

提出的方法

• 该方法通过引入梯度反转层和领域判别器，扩展了领域对抗神经网络（DANN），以对齐不同领域之间的特征分布。
• 提出一种新型损失函数，以处理多领域设置下的半监督学习，使模型能够利用具有不同类别构成的各领域中的未标签数据。
• 引入知识判别器以区分已知类别和未知类别，提升对类别不对称性的鲁棒性。
• 该框架使用 H-差异对平均和最坏领域风险进行理论边界控制，确保在所有领域中的泛化能力。
• 架构包括共享特征提取器、领域判别器和任务特定头，通过梯度反转层鼓励学习领域不变表示。
• 通过交叉验证对学习率、lambda（领域对齐权重）和 zeta（类别不平衡权重）进行超参数调优，并采用指数调度策略。

实验结果

研究问题

• RQ1 是否可以训练一个统一模型，覆盖多个具有重叠但不完全相同的类别集合的领域，实现低平均和最坏情况风险？
• RQ2 如何将领域对抗训练扩展至具有类别不对称性的半监督多领域学习？
• RQ3 基于 H-差异，可为在多个领域上训练的模型的风险提供何种理论保证？
• RQ4 当标签数据在各领域中稀缺或不平衡时，所提出的损失函数如何提升性能？
• RQ5 MuLann 在真实世界生物图像和标准图像基准上的表现相较于现有方法优越到何种程度？

主要发现

• 在三个标准图像基准（Digits、Signs、Office）上，MuLann 在半监督领域自适应任务中显著优于最先进方法，其在 Webcam→Amazon 任务上的准确率达到 54.5%，优于 DANN 的 57.5% 和 MADA 的 37.5%。
• 在新型生物图像数据集 Cell 上，MuLann 在 C-T 转移任务（合并 C 和 T 领域）中达到 89.3% 的准确率，优于基线 NN（91.4%）和 DANN（87.0%），且在非完全可转移设置下表现更优。
• 在 T-unlab. 设置（未标签 T 领域）中，MuLann 达到 77.7% 的准确率，显著优于 DANN（61.4%）和 MADA（56.2%），表明其对类别不平衡和未标签数据稀缺具有强鲁棒性。
• t-SNE 可视化显示，MuLann 学习到的特征空间更具解耦性和领域不变性，且来自一个领域的未标签样本更接近另一领域中相同类别的已标签样本。
• 消融研究证实，所提出的损失函数和超参数设置具有鲁棒性，即使某些类别无未标签数据，性能也无显著下降。
• 基于 H-差异的理论边界有效控制了最坏领域风险，确保无单一领域显著降低整体模型性能。