[논문 리뷰] D2ADA: Dynamic Density-aware Active Domain Adaptation for Semantic Segmentation

Tsung-Han Wu, Yi-Syuan Liou외 5명|arXiv (Cornell University)|2022. 02. 14.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

D2ADA는 의미 분할을 위한 동적이고 밀도 인지 활성 도메인 적응 프레임워크를 제안하며, 정보성 높은 타겟 영역을 우선시하기 위해 불확실성과 도메인 밀도 기반 선택을 결합한다. 고려된 카테고리별 특징 밀도 분포를 추정하기 위해 혼합 정규분포모형(Gaussian Mixture Models)을 활용하고, KL 발산을 통해 동적으로 레이블링 예산을 스케줄링함으로써, GTA5→Cityscapes 및 SYNTHIA→Cityscapes 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 5% 레이블링 예산에서 이전 방법들보다 최대 6.5% mIoU 향상하였다.

ABSTRACT

In the field of domain adaptation, a trade-off exists between the model performance and the number of target domain annotations. Active learning, maximizing model performance with few informative labeled data, comes in handy for such a scenario. In this work, we present D2ADA, a general active domain adaptation framework for semantic segmentation. To adapt the model to the target domain with minimum queried labels, we propose acquiring labels of the samples with high probability density in the target domain yet with low probability density in the source domain, complementary to the existing source domain labeled data. To further facilitate labeling efficiency, we design a dynamic scheduling policy to adjust the labeling budgets between domain exploration and model uncertainty over time. Extensive experiments show that our method outperforms existing active learning and domain adaptation baselines on two benchmarks, GTA5 -> Cityscapes and SYNTHIA -> Cityscapes. With less than 5% target domain annotations, our method reaches comparable results with that of full supervision. Our code is publicly available at https://github.com/tsunghan-wu/D2ADA.

연구 동기 및 목표

• 의미 분할을 위한 도메인 적응에서 제한된 레이블 데이터 문제를 해결하기 위해.
• 지역별 특징 밀도 분포를 통합함으로써 비지도 도메인 적응에서 활성 학습의 효율성을 향상시키기 위해.
• 레이블링을 위한 가장 정보성 있고 도메인 간 격리가 높은 영역을 지능적으로 선택함으로써 애너테이션 비용을 줄이기 위해.
• 도메인 간 격리와 카테고리별 불확실성에 기반하여 레이블링 예산을 동적으로 조정하기 위해.

제안 방법

• 각 카테고리 c에 대해 소스 도메인과 타겟 도메인의 조건부 밀도 분포 $ p_S(z|c) $ 및 $ p_T(z|c) $ 를 추정하기 위해 혼합 정규분포모형(GMMs)을 사용한다.
• 카테고리별 도메인 격리 정도를 나타내는, 범주별 Kullback-Leibler 발산 $ D_{\text{KL}}(p_T(z|c) \| p_S(z|c)) $ 을 계산하여 영역 중요도 점수를 산정한다.
• 하이퍼파ram터 $ \alpha $ 와 $ \beta $ 를 사용하여 반복 단계마다 레이블링 예산을 동적으로 스케줄링하는 정책을 적용하며, $ \alpha $ 는 도메인 갭을 반영하고 $ \beta $ 는 감쇠 비율을 제어한다.
• 활동적 선택은 불확실성 샘플링(예: 마진 기반)과 밀도 인지 선택을 결합하여 높은 불확실성과 높은 도메인 이격도를 가진 영역을 우선시한다.
• 두 단계 파이프라인인 UDA 웜업과 이후 반복적인 활성 학습을 통합하며, 새로 레이블링된 데이터로 모델을 미세조정한다.
• DeepLabV2 및 DeepLabV3+ 백본을 사용하여 구현하며, GMM 입력으로 ASPP 및 최종 분류 레이어의 특징맵을 사용한다.

실험 결과

연구 질문

• RQ1 카테고리 간 특징 밀도 분포를 통합함으로써 도메인 적응에서 활성 학습을 어떻게 향상시킬 수 있는가?
• RQ2 도메인 격리와 불확실성에 기반하여 레이블링 예산을 동적으로 스케줄링하는 것이 어떤 영향을 미치는가?
• RQ3 밀도 인지 선택은 애너테이션 비용을 줄이면서도 분할 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 의미 분할의 저자료 환경에서 기존의 활성 학습 전략과 비교해 본다면, 제안된 방법은 어떻게 성능을 내는가?
• RQ5 GTA5→Cityscapes 및 SYNTHIA→Cityscapes와 같은 다양한 도메인 이격 시나리오에 대해 이 방법은 얼마나 일반화되는가?

주요 결과

• GTA5→Cityscapes 벤치마크에서 D2ADA는 DeepLabV3+를 사용해 5% 레이블링 예산에서 69.73% mIoU를 달성하며, 이는 이전 방법들보다 최대 6.5% mIoU 향상된 성능이다.
• SYNTHIA→Cityscapes 작업에서 D2ADA는 DeepLabV3+를 사용해 5% 레이블링 예산에서 77.67% mIoU를 기록하며, 이는 이전의 최신 기술 수준 결과를 크게 초월하였다.
• 모든 다섯 가지 레이블링 예산(1%에서 5%)에서 일관된 성능 향상을 보이며, 강력한 확장성과 내구성을 입증하였다.
• 정성적 결과에서는 D2ADA가 UDA 및 ADA 기반 모델 대비 객체 경계를 더 잘 유지하고, '기차'(train) 및 '울타리'(fences)와 같은 어려운 카테고리로의 일반화 성능이 뛰어나다는 점을 보였다.
• 실패 사례는 주로 모서리 및 경계 영역에서 관찰되었으며, 이는 공간 샘플링 전략의 향상 여지가 있음을 시사한다.