[논문 리뷰] Context-Aware Domain Adaptation in Semantic Segmentation

Jinyu Yang, Weizhi An외 3명|arXiv (Cornell University)|2020. 03. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 4

한 줄 요약

이 논문은 정합성 분할에서 비지도 도메인 적응을 위한 새로운 교차 주의 메커니즘을 제안하며, 소스(합성) 도메인과 타겟(실제) 도메인 간의 맥락 특징을 적응시키기 위해 두 가지 교차 도메인 주의 모듈—CD-SAM(공간적 맥락용)과 CD-CAM(채널별 의미적 의존성용)—을 도입한다. 이 방법은 GTA5-to-Cityscapes 및 SYNTHIA-to-Cityscapes 벤치마크에서 최신 기술 수준의 성능을 달성하여 이전 방법 대비 mIoU를 최대 1.8% 향상시킨다.

ABSTRACT

In this paper, we consider the problem of unsupervised domain adaptation in the semantic segmentation. There are two primary issues in this field, i.e., what and how to transfer domain knowledge across two domains. Existing methods mainly focus on adapting domain-invariant features (what to transfer) through adversarial learning (how to transfer). Context dependency is essential for semantic segmentation, however, its transferability is still not well understood. Furthermore, how to transfer contextual information across two domains remains unexplored. Motivated by this, we propose a cross-attention mechanism based on self-attention to capture context dependencies between two domains and adapt transferable context. To achieve this goal, we design two cross-domain attention modules to adapt context dependencies from both spatial and channel views. Specifically, the spatial attention module captures local feature dependencies between each position in the source and target image. The channel attention module models semantic dependencies between each pair of cross-domain channel maps. To adapt context dependencies, we further selectively aggregate the context information from two domains. The superiority of our method over existing state-of-the-art methods is empirically proved on "GTA5 to Cityscapes" and "SYNTHIA to Cityscapes".

연구 동기 및 목표

• 비지도 도메인 적응에서 교차 도메인 맥락 의존성의 명시적 모델링 부족 문제를 해결하기 위해.
• 합성 이미지 도메인과 실제 이미지 도메인 간의 맥락 정보—공간적 및 의미적 측면—의 이동 가능성 탐구하기 위해.
• 소스 도메인과 타겟 도메인 간의 공유 맥락을 명시적으로 학습하고 정렬하여 도메인 적응 성능 향상시키기 위해.
• 도메인 불변 특징 학습을 넘어서 양 도메인의 구조적 맥락을 통합하는 방법 개발하기 위해.

제안 방법

• 공간적 맥락용 CD-SAM과 채널별 의미적 맥락용 CD-CAM을 포함한 두 가지 이중 방향 모듈을 갖춘 교차 주의 메커니즘 도입.
• CD-SAM은 소스 이미지의 각 공간적 위치와 타겟 이미지의 모든 위치 간 주의 가중치를 계산하여 도메인 간 특징 집합을 가능하게 한다.
• CD-CAM은 소스 및 타겟 특징의 대응 채널 맵 간 주의를 계산하여 교차 도메인 채널 의존성을 모델링한다.
• 특징 추출기(ResNet101 또는 VGG16)를 갖춘 이중 분기 네트워크를 사용하며, 이후 교차 도메인 주의 모듈과 분류 헤드를 적용한다.
• 도메인 불변 출력 예측을 강제하기 위해 세 개의 판별기 사용으로 특징 및 예측 정렬을 향상시킨다.
• 교차 도메인 맥락 기여도를 균형 잡기 위해 학습 가능한 가중치 계수(λs, λt, ξs, ξt)를 적용하며, 최적 값은 1로 확인됨.

실험 결과

연구 질문

• RQ1 교차 도메인 맥락 의존성의 명시적 모델링이 비지도 도메인 적응에서 정합성 분할 성능을 향상시킬 수 있는가?
• RQ2 공간적 및 채널별 맥락 의존성은 정합성 분할에서 도메인 이동을 줄이는 데 어떻게 기여하는가?
• RQ3 공간 주의와 채널 주의 중 어느 것이 맥락 특징을 도메인 간으로 적응시키는 데 더 큰 기여를 하는가?
• RQ4 교차 도메인 맥락 집합 제어를 위한 하이퍼파rameter에 대한 성능 민감도는 어떠한가?

주요 결과

• GTA5-to-Cityscapes 벤치마크에서 VGG16를 사용할 경우 44.9% mIoU, ResNet101을 사용할 경우 49.2% mIoU를 달성하여 이전 최신 기술 수준의 방법들을 초월한다.
• 더 도전적인 SYNTHIA-to-Cityscapes 벤치마크에서는 ResNet101을 사용해 52.4% mIoU를 기록하였으며, CD-CAM를 적용한 경우 기준선 대비 0.6% 향상되고, CD-SAM를 적용한 경우 0.4% 향상되었다.
• 제거 실험 결과, CD-SAM과 CD-CAM 모두 유의미한 기여를 하며, 함께 사용할 경우 성능 향상이 가장 크다는 것이 확인되었다.
• 시각화 결과, 주의 맵이 정확히 도메인 간 특징을 정렬하고 있음을 확인하였으며, 예를 들어 소스의 건물은 타겟의 건물과 정렬되고, 타겟의 식생은 소스의 식생과 정렬된다.
• 민감도 분석 결과, λs = λt = ξs = ξt = 1일 때 성능이 최적임을 확인하였으며, 극단적인 값 설정은 특징 품질을 떨어뜨린다.
• 백본 네트워크와 도메인 이동 수준이 다른 경우에도 일관된 성능 향상을 보이며, 맥락 인식 적응의 효과성을 입증한다.