[论文解读] HRDA: Context-Aware High-Resolution Domain-Adaptive Semantic Segmentation

Lukas Hoyer, Dengxin Dai+1 more|arXiv (Cornell University)|Apr 27, 2022

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

HRDA 提出了一种用于语义分割无监督域自适应的多分辨率训练框架，通过可学习的尺度注意力机制，结合高分辨率细节裁剪和低分辨率上下文裁剪，在保留细粒度细节的同时捕捉长距离上下文。其在 GTA→Cityscapes 上达到 73.8 mIoU 的最先进性能，在 Synthia→Cityscapes 上达到 65.8 mIoU，分别较 SOTA 提升 5.5 和 4.9 mIoU，同时保持了可控的 GPU 显存使用量。

ABSTRACT

Unsupervised domain adaptation (UDA) aims to adapt a model trained on the source domain (e.g. synthetic data) to the target domain (e.g. real-world data) without requiring further annotations on the target domain. This work focuses on UDA for semantic segmentation as real-world pixel-wise annotations are particularly expensive to acquire. As UDA methods for semantic segmentation are usually GPU memory intensive, most previous methods operate only on downscaled images. We question this design as low-resolution predictions often fail to preserve fine details. The alternative of training with random crops of high-resolution images alleviates this problem but falls short in capturing long-range, domain-robust context information. Therefore, we propose HRDA, a multi-resolution training approach for UDA, that combines the strengths of small high-resolution crops to preserve fine segmentation details and large low-resolution crops to capture long-range context dependencies with a learned scale attention, while maintaining a manageable GPU memory footprint. HRDA enables adapting small objects and preserving fine segmentation details. It significantly improves the state-of-the-art performance by 5.5 mIoU for GTA-to-Cityscapes and 4.9 mIoU for Synthia-to-Cityscapes, resulting in unprecedented 73.8 and 65.8 mIoU, respectively. The implementation is available at https://github.com/lhoyer/HRDA.

研究动机与目标

• 为解决现有无监督域自适应（UDA）方法在语义分割中为减少 GPU 显存使用而下采样图像，导致细粒度细节丢失的问题。
• 保留小物体分割和细小边界细节，这些细节在低分辨率预测中容易丢失。
• 在不增加 GPU 显存消耗的前提下，鲁棒地捕捉长距离上下文依赖关系。
• 通过可学习的注意力机制，结合高分辨率细节裁剪与低分辨率上下文裁剪的优势。
• 在保持计算可行性的同时，实现 UDA 语义分割的最先进性能。

提出的方法

• HRDA 每张图像训练使用两个裁剪：一个大尺寸的低分辨率（LR）上下文裁剪用于长距离上下文，一个小尺寸的高分辨率（HR）细节裁剪用于细粒度细节。
• 模型使用可学习的尺度注意力模块，根据输入依赖的置信度动态融合来自两个裁剪的预测结果。
• 注意力机制学习在推理过程中，对每个图像区域，LR 或 HR 哪一尺度更可靠。
• 训练使用随机裁剪以保持 GPU 显存效率，HR 细节裁剪聚焦于 LR 上下文裁剪内的局部区域。
• 额外改进包括在细节分支中使用重叠滑动裁剪，以及在细节分支上添加一个小的辅助损失以增强特征学习。
• 该框架与现有 UDA 方法兼容，可集成至如 DAFormer 等模型中。

实验结果

研究问题

• RQ1 结合高分辨率细节裁剪与低分辨率上下文裁剪是否能提升无监督域自适应中的语义分割性能？
• RQ2 可学习的尺度注意力机制是否能有效融合不同分辨率的预测结果，从而提升分割精度？
• RQ3 在 GPU 显存约束下，多分辨率训练能否在保留小物体细粒度细节的同时维持长距离上下文感知能力？
• RQ4 HRDA 与朴素的高分辨率训练或单尺度方法相比，在性能与显存效率方面表现如何？
• RQ5 上下文裁剪与细节裁剪在最终性能提升中的独立贡献程度如何？

主要发现

• HRDA 在 GTA→Cityscapes 基准上达到 73.8 mIoU，较之前最先进方法提升 5.5 mIoU。
• 在 Synthia→Cityscapes 基准上，HRDA 达到 65.8 mIoU，较先前 SOTA 提升 4.9 mIoU。
• 可学习的尺度注意力机制相比简单平均两个尺度的预测结果，贡献了 +3.0 mIoU 的性能提升。
• 使用真实 HR 细节裁剪相比将 LR 裁剪双线性上采样至 HR，带来 +1.9 mIoU 的增益，证明了真实高分辨率特征的重要性。
• 尽管 GPU 显存需求减少 40%，HRDA 仍比使用大尺寸 HR 裁剪（HR₀.₇₅）的强基线模型高出 +3.8 mIoU。
• 消融实验表明，重叠细节裁剪和对细节分支的额外监督分别进一步提升性能 +0.9 mIoU 和 +1.4 mIoU。