[论文解读] DensePASS: Dense Panoramic Semantic Segmentation via Unsupervised Domain Adaptation with Attention-Augmented Context Exchange

Chaoxiang Ma, Jiaming Zhang+3 more|arXiv (Cornell University)|Aug 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 36被引用 5

一句话总结

该论文提出DensePASS，一种新颖的基准与领域自适应框架，用于使用注意力增强上下文交换的无监督领域自适应的密集全景语义分割。通过引入自适应模块（SDAM、ADAM、RCDAM），该方法解决了从针孔相机图像到全景等距投影图像的领域偏移问题，在包含19个语义类别的新基准数据集上，相对于基线网络实现了最高达11.26%的mIoU提升。

ABSTRACT

Intelligent vehicles clearly benefit from the expanded Field of View (FoV) of the 360-degree sensors, but the vast majority of available semantic segmentation training images are captured with pinhole cameras. In this work, we look at this problem through the lens of domain adaptation and bring panoramic semantic segmentation to a setting, where labelled training data originates from a different distribution of conventional pinhole camera images. First, we formalize the task of unsupervised domain adaptation for panoramic semantic segmentation, where a network trained on labelled examples from the source domain of pinhole camera data is deployed in a different target domain of panoramic images, for which no labels are available. To validate this idea, we collect and publicly release DensePASS - a novel densely annotated dataset for panoramic segmentation under cross-domain conditions, specifically built to study the Pinhole-to-Panoramic transfer and accompanied with pinhole camera training examples obtained from Cityscapes. DensePASS covers both, labelled- and unlabelled 360-degree images, with the labelled data comprising 19 classes which explicitly fit the categories available in the source domain (i.e. pinhole) data. To meet the challenge of domain shift, we leverage the current progress of attention-based mechanisms and build a generic framework for cross-domain panoramic semantic segmentation based on different variants of attention-augmented domain adaptation modules. Our framework facilitates information exchange at local- and global levels when learning the domain correspondences and improves the domain adaptation performance of two standard segmentation networks by 6.05% and 11.26% in Mean IoU.

研究动机与目标

• 为全景语义分割中的无监督领域自适应建立形式化框架，即在无标签全景图像上对在针孔相机数据上训练的模型进行适应。
• 收集并发布DensePASS，一个新发布的密集标注数据集，包含19个语义类别，涵盖有标签和无标签的全景图像，用于跨领域评估。
• 解决由几何失真和视场差异引起的针孔图像与全景图像之间显著的领域偏移问题。
• 开发一种通用、可插拔的领域自适应框架，通过引入基于注意力和上下文感知的模块，增强标准分割网络。
• 验证注意力增强的上下文交换在提升跨领域特征对齐与分割精度方面的有效性。

提出的方法

• 将针孔→全景领域自适应（P2PDA）任务形式化为无监督领域自适应，使用有标签的针孔数据和无标签的全景数据。
• 提出三种领域自适应模块：语义分割领域自适应模块（SDAM）、注意力领域自适应模块（ADAM）和区域上下文领域自适应模块（RCDAM），用于多层次特征对齐。
• 利用ADAM通过自注意力机制建模360°全景图中长距离依赖关系与位置关系。
• 通过在全景特征图的不同空间区域之间交换区域上下文，利用RCDAM增强特征表示。
• 将这些模块集成到标准分割网络（如ERFNet、FANet、DANet）中，实现在无需从头开始训练的情况下实现跨领域自适应。
• 使用对抗性损失和一致性正则化训练模型，以对齐源域与目标域的特征，同时保持语义结构。

实验结果

研究问题

• RQ1 无监督领域自适应能否有效弥合针孔相机图像与全景等距投影图像在语义分割任务中的领域差距？
• RQ2 基于注意力与上下文感知的模块在全景场景中如何提升特征对齐与分割性能？
• RQ3 通过引入更多样化的数据（如WildDash）扩展源域，在多大程度上能提升模型在全景场景中的泛化能力？
• RQ4 与在全景数据上微调的标准分割模型相比，所提出的P2PDA框架在mIoU和边界精度方面表现如何？
• RQ5 领域自适应在360°场景中对小物体或模糊物体（如交通标志、电线杆）的分割带来了哪些定性改进？

主要发现

• 所提出的P2PDA框架在两个标准分割网络上分别实现了6.05%和11.26%的mIoU提升，证明了其强大的领域自适应性能。
• 在DensePASS基准上评估时，使用包含WildDash的扩展源数据集在Cityscapes上训练并经P2PDA自适应的模型，mIoU达到42.47%。
• 注意力增强的ADAM模块显著提升了复杂区域（如天空、植被和建筑物）的分割效果，定性结果中边界更清晰、更准确。
• 交通灯、标志和电线杆等小物体在领域自适应后，其定位与分类性能显著改善。
• 从针孔图像到全景图像的性能下降非常显著——mIoU下降约50%，凸显了领域自适应的迫切需求。
• RCDAM模块有效捕捉了水平与全局上下文，在高几何失真区域显著提升了360°视场中的特征表示能力。