[논문 리뷰] DensePASS: Dense Panoramic Semantic Segmentation via Unsupervised Domain Adaptation with Attention-Augmented Context Exchange

Chaoxiang Ma, Jiaming Zhang외 3명|arXiv (Cornell University)|2021. 08. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 5

한 줄 요약

이 논문은 주로 투영된 카메라 이미지에서 원형 등각 투영도로의 도메인 이탈 문제를 해결하기 위해, 주의 기반 컨텍스트 교환을 통한 비지도 도메인 적응 기반으로, 밀도 높은 원형 영역 세분화를 위한 새로운 벤치마크 및 도메인 적응 프레임워크인 DensePASS를 제안한다. 이는 투영된 카메라 이미지에서 원형 등각 투영도로의 도메인 이탈 문제를 해결하기 위해, 적응형 모듈(SDAM, ADAM, RCDAM)을 도입함으로써, 새로운 벤치마크 데이터셋(19개의 의미 클래스 포함)에서 기준 네트워크 대비 최대 11.26%의 mIoU 향상을 달성한다.

ABSTRACT

Intelligent vehicles clearly benefit from the expanded Field of View (FoV) of the 360-degree sensors, but the vast majority of available semantic segmentation training images are captured with pinhole cameras. In this work, we look at this problem through the lens of domain adaptation and bring panoramic semantic segmentation to a setting, where labelled training data originates from a different distribution of conventional pinhole camera images. First, we formalize the task of unsupervised domain adaptation for panoramic semantic segmentation, where a network trained on labelled examples from the source domain of pinhole camera data is deployed in a different target domain of panoramic images, for which no labels are available. To validate this idea, we collect and publicly release DensePASS - a novel densely annotated dataset for panoramic segmentation under cross-domain conditions, specifically built to study the Pinhole-to-Panoramic transfer and accompanied with pinhole camera training examples obtained from Cityscapes. DensePASS covers both, labelled- and unlabelled 360-degree images, with the labelled data comprising 19 classes which explicitly fit the categories available in the source domain (i.e. pinhole) data. To meet the challenge of domain shift, we leverage the current progress of attention-based mechanisms and build a generic framework for cross-domain panoramic semantic segmentation based on different variants of attention-augmented domain adaptation modules. Our framework facilitates information exchange at local- and global levels when learning the domain correspondences and improves the domain adaptation performance of two standard segmentation networks by 6.05% and 11.26% in Mean IoU.

연구 동기 및 목표

• 핀홀 카메라 데이터로 훈련된 모델이 레이블 없이 원형 영역 이미지로 적응할 수 있도록, 원형 영역 세분화를 위한 비지도 도메인 적응을 체계화한다.
• 도메인 간 평가를 위한 레이블이 있는 및 없는 원형 영역 이미지를 포함한, 19개의 의미 클래스를 가진 새로운 밀도 높은 주석이 부여된 데이터셋인 DensePASS를 수집하고 공개한다.
• 기하학적 왜곡과 시야각의 차이로 인해 발생하는 핀홀 이미지와 원형 영역 이미지 사이의 심각한 도메인 이탈 문제를 해결한다.
• 표준 세분화 네트워크에 주의 기반 및 컨텍스트 인식 모듈을 통합하여, 일반화된 플러그인 방식의 도메인 적응 프레임워크를 개발한다.
• 주의 기반 컨텍스트 교환 기법이 도메인 간 특징 정렬 및 세분화 정확도 향상에 기여하는지 검증한다.

제안 방법

• 레이블이 있는 핀홀 카메라 데이터와 레이블이 없는 원형 영역 이미지를 사용하여, 비지도 도메인 적응 기반의 핀홀 → 원형 도메인 적응(P2PDA) 작업을 체계화한다.
• 다중 수준의 특징 정렬을 위한 세 가지 도메인 적응 모듈을 제안한다: 세분화 도메인 적응 모듈(SDAM), 주의 기반 도메인 적응 모듈(ADAM), 지역적 컨텍스트 도메인 적응 모듈(RCDAM).
• ADAM을 사용하여 자기 주의 메커니즘을 통해 360° 원형 영역 전반에 걸친 장거리 의존성과 위치적 관계를 모델링한다.
• RCDAM을 활용하여 원형 특징 맵 내 다양한 공간 영역 간의 지역적 컨텍스트를 교환함으로써 특징 표현을 향상시킨다.
• 표준 세분화 네트워크(E.g., ERFNet, FANet, DANet)에 모듈을 통합하여, 다시 학습 없이도 도메인 간 적응을 가능하게 한다.
• 대부분의 특징 정렬과 함께 의미적 구조를 유지하기 위해, 적대적 손실과 일관성 정규화를 사용하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 비지도 도메인 적응이 핀홀 카메라 이미지와 원형 등각 투영도 사이의 도메인 갭을 효과적으로 해소할 수 있는가?
• RQ2 주의 기반 및 컨텍스트 인식 모듈은 원형 영역에서 특징 정렬 및 세분화 성능을 어떻게 향상시키는가?
• RQ3 예를 들어 WildDash와 같은 더 다양한 데이터로 소스 도메인을 확장할 경우, 원형 영역에 대한 일반화 능력은 어느 정도 향상되는가?
• RQ4 제안된 P2PDA 프레임워크는 원형 영역 이미지에서 미세조정된 표준 세분화 모델 대비 mIoU 및 경계 정확도 측면에서 어떻게 비교되는가?
• RQ5 도메인 적응은 360° 영역에서 소형 또는 모호한 물체(예: 교통 표지, 기둥 등)의 세분화에 어떤 정성적 개선을 가져오는가?

주요 결과

• 제안된 P2PDA 프레임워크는 두 가지 표준 세분화 네트워크에서 각각 6.05% 및 11.26%의 mIoU 향상을 이룩하여 강력한 도메인 적응 성과를 입증한다.
• DensePASS 벤치마크에서 평가한 결과, Cityscapes에서 훈련된 모델이 P2PDA를 통해 적응한 경우, WildDash를 포함한 확장된 소스 데이터셋을 사용할 경우 mIoU가 42.47%에 도달한다.
• 주의 기반 컨텐츠 교환을 통한 ADAM 모듈은 하늘, 식생, 건물 등 복잡한 영역의 세분화를 크게 향상시키며, 정성적 결과에서 더 명확하고 정확한 경계를 제공한다.
• 교통 신호등, 표지판, 기둥과 같은 소형 물체는 도메인 적응 후 국소화 및 분류 성능에서 뚜렷한 향상을 보였다.
• 핀홀 이미지에서 원형 영역 이미지로의 전환으로 인한 성능 저하는 상당히 크며, 약 50%의 mIoU 감소를 보이며, 도메인 적응의 필수성을 강력히 시사한다.
• RCDAM 모듈은 수평적 및 전역적 컨텍스트를 효과적으로 포착하여, 특히 기하학적 왜곡이 심한 영역에서 전체 360° 시야 범위에 걸쳐 특징 표현을 향상시킨다.