[논문 리뷰] Unsupervised Domain Adaptation for Semantic Segmentation via Low-level Edge Information Transfer

Hongruixuan Chen, Chen Wu외 2명|arXiv (Cornell University)|2021. 09. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 59인용 수 8

한 줄 요약

이 논문은 세분화 분류를 위한 새로운 비지도 도메인 적응 프레임워크를 제안하며, 낮은 수준의 에지 정보—도메인 간 격차가 작아 특징으로서의 전이가 용이한 특징—을 활용하여 고수준의 의미적 특징 전이를 이끌어내는 데 초점을 맞춘다. 독립적인 에지 스트림과 적대적 학습, 에지 일관성 손실을 도입함으로써 실제 이미지에서 경계 정확도를 향상시켰으며, Cityscapes 및 GTA5 벤치마크에서 각각 +2.9%와 +2.6%의 최신 기술 수준(mIoU) 향상을 달성하였다.

ABSTRACT

Unsupervised domain adaptation for semantic segmentation aims to make models trained on synthetic data (source domain) adapt to real images (target domain). Previous feature-level adversarial learning methods only consider adapting models on the high-level semantic features. However, the large domain gap between source and target domains in the high-level semantic features makes accurate adaptation difficult. In this paper, we present the first attempt at explicitly using low-level edge information, which has a small inter-domain gap, to guide the transfer of semantic information. To this end, a semantic-edge domain adaptation architecture is proposed, which uses an independent edge stream to process edge information, thereby generating high-quality semantic boundaries over the target domain. Then, an edge consistency loss is presented to align target semantic predictions with produced semantic boundaries. Moreover, we further propose two entropy reweighting methods for semantic adversarial learning and self-supervised learning, respectively, which can further enhance the adaptation performance of our architecture. Comprehensive experiments on two UDA benchmark datasets demonstrate the superiority of our architecture compared with state-of-the-art methods.

연구 동기 및 목표

• 세분화 분류에서 합성(소스) 이미지와 실제(타겟) 이미지 간 고수준 의미적 특징의 큰 도메인 갭 문제를 해결한다.
• 큰 도메인 이동으로 인해 고수준 특징의 비일치 문제가 발생하는 기존 특징 수준의 적대적 방법의 한계를 극복한다.
• 낮은 수준의 에지 정보—도메인 간 격차가 작아 전이가 용이한 특징—을 활용하여 의미적 특징 적응을 이끌어내는 신호로 삼는다.
• 예측된 의미적 맵을 고품질의 에지 기반 경계와 명시적으로 정렬시킴으로써 실제 타겟 도메인에서의 세분화 성능을 향상시킨다.
• 임계값 기반의 가짜 레이블링이 필요 없이 불확실성 적응형 자기지도 학습을 개발하여 예측을 더욱 정밀하게 다듬는다.

제안 방법

• 기본 엔트로피-적대적 학습을 위한 의미 스트림과 저수준 에지 특징을 처리하기 위한 독립적인 에지 스트림을 갖춘 이중 스트림 아키텍처를 설계한다.
• 소스 도메인의 진짜 의미 경계를 사용해 에지 스트림을 훈련하고, 소스 및 타겟 도메인의 에지 특징을 정렬하기 위해 도메인 적대적 훈련을 적용한다.
• 예측된 의미 세분화 맵과 타겟 도메인에서 생성된 에지 맵 간의 일관성을 강제하는 에지 일관성 손실을 도입한다.
• 고엔트로피(어려운) 타겟 샘플의 손실 가중치를 증가시켜 어려운 인스턴스에 대한 적응 능력을 향상시키는 엔트로피 재가중 메커니즘을 제안한다.
• 높은 신뢰도 픽셀에 대해 가중치를 적응적으로 조정하고 노이즈가 많은 예측을 억제함으로써 예측을 다듬기 위해 불확실성 적응형 자기지도 학습(UASL)을 적용한다.
• A-distance 메트릭을 사용해 실제로 에지 특징이 의미 특징보다 도메인 갭이 현저히 작다는 것을 경험적으로 검증한다.

실험 결과

연구 질문

• RQ1 낮은 수준의 에지 정보—도메인 간 격차가 작다는 특징—이 비지도 도메인 적응에서 고수준 의미적 특징 전이를 위한 효과적인 가이드 역할을 할 수 있는가?
• RQ2 독립적인 스트림을 통해 에지 정보를 명시적으로 모델링할 경우, 기존의 표준 적대적 적응 대비 실제 타겟 도메인에서의 세분화 성능 향상이 이루어지는가?
• RQ3 예측된 의미 맵과 에지 맵 간의 일관성 강제가 경계 정확도 및 전체 mIoU에 얼마나 기여하는가?
• RQ4 임계값 기반의 가짜 레이블링과 비교할 때, 불확실성 적응형 자기지도 학습은 세분화 분류의 도메인 적응에서 어떤가?
• RQ5 A-distance로 측정했을 때, 에지 표현의 도메인 불일치가 고수준 의미 표현보다 현저히 작은가?

주요 결과

• 제안된 방법은 Cityscapes 데이터셋에서 52.8%의 mIoU, GTA5에서 48.1%의 mIoU를 기록하여 기존 최신 기술 수준의 방법을 초월한다.
• 에지 스트림과 에지 일관성 손실을 통해 명시적인 에지 정보 활용이 Cityscapes와 GTA5에서 각각 2.1%와 1.9%의 mIoU 향상을 이끌어내었다.
• 에지 스트림에서의 적대적 훈련이 mIoU를 각각 0.8%와 0.7% 향상시켜 에지 공간 내의 도메인 정렬이 효과적이라는 것을 입증하였다.
• 에지 가이드와 적대적 에지 학습의 총 성능 향상은 각각 +2.9%와 +2.6%의 mIoU를 기록하여 본 방법의 우수성을 확인하였다.
• A-distance 메트릭은 에지 특징이 의미 특징보다 도메인 갭이 현저히 작다는 것을 보여주며, 본 방법의 핵심 가정을 검증하였다.
• 임계값 기반 방법(T=0.5, T=0.9)에 비해 불확실성 적응형 자기지도 학습이 수동적인 임계값 선택이 필요 없고, 더 높은 강인성을 확보하여 성능이 뛰어나다.