[논문 리뷰] Spatial Attention Pyramid Network for Unsupervised Domain Adaptation

Congcong Li, Dawei Du외 5명|arXiv (Cornell University)|2020. 03. 29.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 7

한 줄 요약

이 논문은 객체 검출, 인스턴스 세그멘테이션, 세분화 분야에서 비지도 도메인 적응을 위한 공간 주의 히에라르키컬 네트워크(SAPNet)를 제안한다. 다중 척도 특징 맵을 작업 유도 공간 주의 메커니즘을 통해 통합함으로써 SAPNet은 도메인 간에 분류 가능한 특징 학습을 향상시켜, Cityscapes→FoggyCityscapes에서 3%의 mAP 향상을 기록하고, GTA5→Cityscapes에서도 뛰어난 성능을 달성한다.

ABSTRACT

Unsupervised domain adaptation is critical in various computer vision tasks, such as object detection, instance segmentation, and semantic segmentation, which aims to alleviate performance degradation caused by domain-shift. Most of previous methods rely on a single-mode distribution of source and target domains to align them with adversarial learning, leading to inferior results in various scenarios. To that end, in this paper, we design a new spatial attention pyramid network for unsupervised domain adaptation. Specifically, we first build the spatial pyramid representation to capture context information of objects at different scales. Guided by the task-specific information, we combine the dense global structure representation and local texture patterns at each spatial location effectively using the spatial attention mechanism. In this way, the network is enforced to focus on the discriminative regions with context information for domain adaption. We conduct extensive experiments on various challenging datasets for unsupervised domain adaptation on object detection, instance segmentation, and semantic segmentation, which demonstrates that our method performs favorably against the state-of-the-art methods by a large margin. Our source code is available at https://isrc.iscas.ac.cn/gitlab/research/domain-adaption.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인 간에 분포 차이가 크기 때문에 객체 검출 및 세그멘테이션과 같은 컴퓨터 비전 작업에서 발생하는 도메인 이동 문제를 해결하기 위해.
• 이전 방법들이 전반적인 분포 정렬에 의존하거나 다중 척도 맥락과 분류 가능한 영역을 효과적으로 활용하지 못하는 한계를 극복하기 위해.
• 주의 메커니즘을 활용하여 글로벌 맥락과 로컬 텍스처 패턴을 효과적으로 융합하는 통합 프레임워크를 설계하여 도메인 일반화를 향상시키기 위해.
• Cityscapes→FoggyCityscapes, PASCAL VOC→Clipart, GTA5→Cityscapes와 같은 도전적인 도메인 적응 벤치마크에서 성능을 향상시키기 위해.

제안 방법

• 다중 척도 특징 맵을 사용하여 공간 히에라르키컬 표현을 구성함으로써 전반적인 이미지 수준의 정보와 지역 수준의 의미 정보를 모두 캡처한다.
• 구분 가능한 영역의 관련성에 따라 척도 간 특징을 적응적으로 융합하는 작업별 지도 공간 주의 메커니즘을 도입한다.
• 공간 히에라르키컬 구조에서 평균 풀링을 사용하여 국소 텍스처 패턴을 유지하고, 적대적 도메인 정렬을 위한 특징의 분류 능력을 향상시킨다.
• 채널별 주의를 적용하여 다중 수준 특징을 동적으로 가중함으로써, 유사하지 않은 도메인에서의 표현 학습을 향상시킨다.
• 적대적 훈련을 통해 깊이 있는 네트워크에 공간 주의 히에라르키컬 구조를 통합하여 소스 도메인과 타겟 도메인의 특징을 정렬한다.
• 기울기 반전과 다중 손실 최적화를 활용하여 도메인 불변 표현을 정교화하면서도 작업별 의미 정보를 유지한다.

실험 결과

연구 질문

• RQ1 다중 척도 특징을 활용한 공간 히에라르키컬 구조는 객체 검출 및 세그멘테이션 분야에서 도메인 적응 성능 향상에 기여하는가?
• RQ2 작업별 지도 주의 메커니즘이 비지도 도메인 적응 과정에서 분류 가능한 영역에 집중하는 데 어떻게 기여하는가?
• RQ3 공간 히에라르키컬의 깊이와 풀링 전략(평균 풀링 대비 최대 풀링)은 특징 표현 품질에 어떤 영향을 미치는가?
• RQ4 채널별 주의는 매우 다를 수 있는 도메인 간 적응에서 성능 향상에 기여하는가?
• RQ5 제안된 방법은 스타일 전이 및 기상 변화와 같은 다양한 도메인 이동 시나리오에 일반화 가능한가?

주요 결과

• SAPNet은 Cityscapes→FoggyCityscapes 객체 검출 벤치마크에서 기존 최신 기술(SOTA)을 크게 능가하는 3%의 mAP 향상을 기록한다.
• GTA5→Cityscapes 세분화 작업에서 SAPNet은 경쟁력 있는 정확도를 달성하여 도메인 이동에 대한 강력한 일반화 능력을 보여준다.
• 제거 실험 결과, 공간 주의 히에라르키컬 구조를 제거할 경우 가장 도전적인 PASCAL VOC→Clipart 벤치마크에서 mAP가 6% 이상 감소함을 확인하였다.
• 작업별 지도 주의 메커니즘이 PASCAL VOC→Clipart에서 mAP를 5.1% 향상시켜, 분류 가능한 영역에 집중하는 데서의 기여도를 입증한다.
• 공간 히에라르키컬 구조에서 평균 풀링이 최대 풀링보다 더 높은 성능을 보였으며, PASCAL VOC→Clipart에서 4.7%의 mAP 향상을 기록하였다.
• 채널별 주의는 다를 수 있는 도메인(예: PASCAL VOC→Clipart)에서 1.6%의 mAP 향상을 기록했지만, 유사한 도메인에서는 거의 향상이 없었으며, 이는 복잡한 적응 시나리오에서의 가치를 시사한다.