[论文解读] ACE: Adapting to Changing Environments for Semantic Segmentation

Zuxuan Wu, Xin Wang+3 more|arXiv (Cornell University)|Apr 12, 2019

Domain Adaptation and Few-Shot Learning参考文献 62被引用 13

一句话总结

ACE 是一种用于语义分割的终身学习框架，通过像素级风格迁移合成有标签的训练数据，同时利用轻量级的特征统计记忆来防止灾难性遗忘。它在 Synthia 数据集的连续域转移任务中表现出色，元学习策略使其适应速度接近全批量训练。

ABSTRACT

Deep neural networks exhibit exceptional accuracy when they are trained and tested on the same data distributions. However, neural classifiers are often extremely brittle when confronted with domain shift---changes in the input distribution that occur over time. We present ACE, a framework for semantic segmentation that dynamically adapts to changing environments over the time. By aligning the distribution of labeled training data from the original source domain with the distribution of incoming data in a shifted domain, ACE synthesizes labeled training data for environments as it sees them. This stylized data is then used to update a segmentation model so that it performs well in new environments. To avoid forgetting knowledge from past environments, we introduce a memory that stores feature statistics from previously seen domains. These statistics can be used to replay images in any of the previously observed domains, thus preventing catastrophic forgetting. In addition to standard batch training using stochastic gradient decent (SGD), we also experiment with fast adaptation methods based on adaptive meta-learning. Extensive experiments are conducted on two datasets from SYNTHIA, the results demonstrate the effectiveness of the proposed approach when adapting to a number of tasks.

研究动机与目标

• 解决真实部署中因光照和天气条件变化导致的语义分割领域偏移问题。
• 在无需新环境有标签数据的前提下，实现预训练模型对未见、连续目标域的持续适应。
• 通过紧凑的特征统计记忆，防止对先前学习任务的灾难性遗忘。
• 利用可泛化于各领域的元学习策略，加速适应过程。
• 开发一种轻量级、端到端可训练的框架，实现实时动态环境下的适应。

提出的方法

• 使用条件图像生成器，在特征层面将源域图像的统计特性（均值和方差）与未标记目标域图像的统计特性对齐。
• 应用自适应统计的实例归一化，将目标域风格迁移至源图像，同时保持内容不变。
• 采用记忆单元，存储先前见过的领域的一阶和二阶特征统计，以实现高效的风格回放。
• 利用存储的统计信息重建并回放历史领域风格，微调分割模型，防止遗忘。
• 通过随机梯度下降（SGD）联合训练分割网络与生成网络，实现端到端优化。
• 提出 ACE-Meta，一种基于 Reptile 的元学习变体，学习元参数以实现仅需 600 次 SGD 步骤即可快速适应新领域。

实验结果

研究问题

• RQ1 能否有效将语义分割模型适应到具有变化天气和光照条件的新未标记环境中？
• RQ2 在从新数据分布中顺序学习时，如何缓解灾难性遗忘？
• RQ3 与特征级对齐相比，通过风格迁移实现像素级分布对齐是否能提升适应性能？
• RQ4 在无需完整微调的情况下，元学习能在多大程度上加速对新领域的适应？
• RQ5 轻量级的特征统计记忆在实现跨多样化环境的长期泛化方面有多有效？

主要发现

• ACE 在 Synthia 数据集的连续适应任务中达到最先进性能，优于标准领域自适应和基于回放的基线方法。
• 引入记忆回放显著减少了遗忘，使模型在持续学习过程中对先前见过的领域仍保持高精度。
• ACE-Meta 通过元学习实现的性能与全批量 SGD 训练（10K 次迭代）相当，但每任务仅需 600 次迭代。
• 在 'winter' 和 'winter night' 等具有挑战性的领域中，ACE-Meta 明显优于非元学习基线，证明了其在多样化条件下的有效泛化能力。
• 将 ACE 与 ADDA（特征级适应）结合，在 Highway 和 NYC 类似城市领域分别实现 0.7% 和 0.6% 的进一步性能提升。
• 使用 ACE 生成的图像比 MUNIT 保留了更多结构和语义细节，且伪影更少，证实了像素级风格迁移的有效性。