[논문 리뷰] Unsupervised Intra-domain Adaptation for Semantic Segmentation through Self-Supervision

Fei Pan, Inkyu Shin외 3명|arXiv (Cornell University)|2020. 04. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 42

한 줄 요약

타깃 간 간극을 줄이고(target 간의 간극) 타깃 내부의 간극을 줄이기 위해 엔트로피로 타깃 이미지를 순위화하고 쉬운/어려운 분할과 의사 라벨을 사용하는 두 단계의 자기지도 도메인 적응을 제안한다.

ABSTRACT

Convolutional neural network-based approaches have achieved remarkable progress in semantic segmentation. However, these approaches heavily rely on annotated data which are labor intensive. To cope with this limitation, automatically annotated data generated from graphic engines are used to train segmentation models. However, the models trained from synthetic data are difficult to transfer to real images. To tackle this issue, previous works have considered directly adapting models from the source data to the unlabeled target data (to reduce the inter-domain gap). Nonetheless, these techniques do not consider the large distribution gap among the target data itself (intra-domain gap). In this work, we propose a two-step self-supervised domain adaptation approach to minimize the inter-domain and intra-domain gap together. First, we conduct the inter-domain adaptation of the model; from this adaptation, we separate the target domain into an easy and hard split using an entropy-based ranking function. Finally, to decrease the intra-domain gap, we propose to employ a self-supervised adaptation technique from the easy to the hard split. Experimental results on numerous benchmark datasets highlight the effectiveness of our method against existing state-of-the-art approaches. The source code is available at https://github.com/feipan664/IntraDA.git.

연구 동기 및 목표

• 합성 소스 데이터와 실제 타깃 데이터 간의 도메인 시프트를 시맨틱 분할에 대해 해결한다.
• 타깃 이미지를 쉬운 것과 어려운 것으로 구분하기 위한 엔트로피 기반 순위를 도입한다.
• 쉬운 데이터에 대해 타깃 내부 적응을 통해 쉬운 분할과 어려운 분할 간의 간극을 연결한다.
• 합성-실제 벤치마크에서 최첨단 UDA 방법보다 향상된 성능을 보인다.

제안 방법

• 생성기와 구분자 사이의 적대적 구성으로 인터-도메인 적응을 수행하여 소스와 타깃 분포를 세그먼테이션 출력 및 그 엔트로피 맵에 기초해 정렬한다.
• 타깃 엔트로피 기반 순위자 R(Xt)을 평균 엔트로피로 학습시켜 타깃 집합을 쉬운(Xt_e)과 어려운(Xt_h) 하위집합으로 나누고 비율 λ로 제어한다.
• 인터-도메인 모델의 쉬운 분할에서의 의사 라벨을 사용해 쉬운 데이터에서 내부 도메인 세그먼테이션 모델(G_intra)을 감독한다.
• 두 분할 간의 엔트로피 분포를 맞추기 위해 쉬운/어려운 분할의 엔트로피 맵을 구분하는 판별기 D_intra를 활용한 내부 도메인 적대적 목표를 적용한다.
• 인터-도메인 세그먼테이션과 적대적 정렬의 손실을 내부 도메인 세그먼테이션 및 적대적 정렬 손실과 결합하여 총 목표 함수 L을 구성하고, 세 가지 단계(인터-도메인 학습, 타깃 순위, 그다음 내부 도메인 학습)로 최적화한다.
• 주요 방정식에는 인터-도메인 세그먼트 손실 L_inter_seg, 인터-도메인 적대 손실 L_inter_adv, 쉬운 분할의 의사 라벨에서의 내부 도메인 세그먼트 손실 L_intra_seg, 그리고 쉬운/어려운 분할 간의 내부 도메인 적대 손실 L_intra_adv가 포함된다.

실험 결과

연구 질문

• RQ1 인터-도메인 정렬과 내부 도메인 정렬을 결합하는 것이 단순 인터-도메인 정렬보다 실제 세계 타깃에 대한 일반화에 더 나은 성능을 보이나?
• RQ2 엔트로피 기반 순위가 타깃 도메인을 쉬운 것과 어려운 하위집합으로 효과적으로 나눠 자기지도 내부 도메인 적응에 이익을 주는가?
• RQ3 분할 비율 λ가 최종 세그먼테이션 성능에 어떤 영향을 미치는가?
• RQ4 의사 라벨 기반 내부 도메인 학습이 더 어려운 타깃 인스턴스의 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 GTA5-에서 Cityscapes로의 평가에서 46.3% mIoU를 달성, AdvEnt보다 2.5% 포인트 앞섰다.
• 엔트로피 정규화를 적용하면 GTA5-에서 Cityscapes로의 성능이 47.0% mIoU에 도달하여 쉬운/어려운 분리의 개선에서 얻은 이득을 보여준다.
• SYNTHIA-에서 Cityscapes로의 16-클래스에서 41.7% mIoU, 13-클래스에서 48.9% mIoU를 달성하여 다수의 베이스라인을 능가한다.
• Synscapes-에서 Cityscapes로의 54.2% mIoU를 달성하여 이 설정에서 AdaptSegNet 베이스라인을 능가한다.
• 절단된 내부 도메인 적응과 의사 라벨 및 엔트로피 기반 순위를 결합한 ablación 실험은 인터-도메인 적응만 사용하거나 단순 자체 학습을 사용하는 경우보다 더 큰 이득을 보인다.
• 상호-도메인 및 내부 도메인 접근법의 조합은 다수의 합성-실제 벤치마크에서 성능 향상을 제공한다.