[论文解读] ADVENT: Adversarial Entropy Minimization for Domain Adaptation in Semantic Segmentation

Tuan-Hung Vu, Himalaya Jain+3 more|arXiv (Cornell University)|Nov 30, 2018

Domain Adaptation and Few-Shot Learning参考文献 60被引用 1,403

一句话总结

本论文提出基于熵的无监督域适应用于语义分割，提出直接熵最小化和对抗熵最小化（AdvEnt）方法，在合成到真实的基准 GTA5→Cityscapes 与 SYNTHIA→Cityscapes 上实现了最先进的结果。

ABSTRACT

Semantic segmentation is a key problem for many computer vision tasks. While approaches based on convolutional neural networks constantly break new records on different benchmarks, generalizing well to diverse testing environments remains a major challenge. In numerous real world applications, there is indeed a large gap between data distributions in train and test domains, which results in severe performance loss at run-time. In this work, we address the task of unsupervised domain adaptation in semantic segmentation with losses based on the entropy of the pixel-wise predictions. To this end, we propose two novel, complementary methods using (i) entropy loss and (ii) adversarial loss respectively. We demonstrate state-of-the-art performance in semantic segmentation on two challenging "synthetic-2-real" set-ups and show that the approach can also be used for detection.

研究动机与目标

• 解决语义分割中合成（源）数据与真实（目标）数据之间的域差距。
• 引入基于熵的目标以在没有目标标签的情况下促使目标预测的低熵（自信）。
• 提出一种对抗扩展，通过对齐源域和目标域之间的加权自信息来实现。
• 探索实际改进，如在熵范围内训练以及引入类比例先验以提升性能。

提出的方法

• 通过在目标预测上添加熵损失来直接实现熵最小化，促使输出低熵（MinEnt）。
• 第二种方法（AdvEnt）在加权自信息图上使用对抗训练，通过判别器对齐源和目标的预测结构。
• 将自信息图 I_x 定义为 I_x^{(h,w)} = -P_x^{(h,w)} log P_x^{(h,w)}，并使用判别器 D 来区分源与目标；训练 F 以愚弄 D（最小化 L_D）。
• 将源的有监督分割损失与目标的熵损失或对抗损失（L_ent 或 L_adv）结合在一个统一目标中。
• 可选地将来自源的类比例先验引入以正则化目标预测（L_cp）。
• 讨论与自训练的连接并强调熵最小化作为伪标签的软性、区间基代理，而不需要固定阈值。

实验结果

研究问题

• RQ1 基于熵的目标能否在没有目标标签的情况下改善语义分割的域适应？
• RQ2 直接熵最小化（MinEnt）与对抗熵最小化（AdvEnt）在弥合源目标差距方面的比较如何？
• RQ3 通过对抗对齐加权自信息来整合结构信息，是否比逐像素熵最小化有更好结果？
• RQ4 熵范围训练和类比例先验在具有挑战性的合成到真实设置中是否带来实际提升？

主要发现

• AdvEnt 在 GTA5→Cityscapes 上实现了最先进的结果，并在 SYNTHIA→Cityscapes 上相对于基线有改进，得益于对抗结构对齐。
• 直接的 MinEnt 具有竞争力，且在某些基线中表现优于部分模型，特别是在容量较低的网络中，并且受益于熵范围训练。
• 加权自信息的对抗对齐捕捉到结构的一致性，相对于直接的熵最小化带来额外提升。
• 将 MinEnt 与 AdvEnt 的集合在若干设置中提供最佳总体性能。
• 引入类比例先验有助于缓解类别偏见，并在更具挑战性的目标域布局中提升 mIoU。