[논문 리뷰] Pixel-Level Cycle Association: A New Perspective for Domain Adaptive Semantic Segmentation

Guoliang Kang, Yunchao Wei외 3명|arXiv (Cornell University)|2020. 10. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 55인용 수 67

한 줄 요약

본 논문은 Pixel-Level Cycle Association(PLCA)를 도입한다. 이는 도메인 간 간극을 최소화하기 위해 cross-domain 픽셀 수준의 연관 관계를 구축하고 이를 대조적으로 강화하며, 다중 수준 감독을 더하는 한 단계의 엔드투엔드 프레임워크이다. GTAV→Cityscapes 및 SYNTHIA→Cityscapes에서 강력한 이점을 달성한다.

ABSTRACT

Domain adaptive semantic segmentation aims to train a model performing satisfactory pixel-level predictions on the target with only out-of-domain (source) annotations. The conventional solution to this task is to minimize the discrepancy between source and target to enable effective knowledge transfer. Previous domain discrepancy minimization methods are mainly based on the adversarial training. They tend to consider the domain discrepancy globally, which ignore the pixel-wise relationships and are less discriminative. In this paper, we propose to build the pixel-level cycle association between source and target pixel pairs and contrastively strengthen their connections to diminish the domain gap and make the features more discriminative. To the best of our knowledge, this is a new perspective for tackling such a challenging task. Experiment results on two representative domain adaptation benchmarks, i.e. GTAV $ ightarrow$ Cityscapes and SYNTHIA $ ightarrow$ Cityscapes, verify the effectiveness of our proposed method and demonstrate that our method performs favorably against previous state-of-the-arts. Our method can be trained end-to-end in one stage and introduces no additional parameters, which is expected to serve as a general framework and help ease future research in domain adaptive semantic segmentation. Code is available at https://github.com/kgl-prml/Pixel- Level-Cycle-Association.

연구 동기 및 목표

• 도메인 간 정보를 활용하기 위한 픽셀 수준 관계의 필요성을 제시하며 도메인 적응 시맨틱 분할을 동기화한다.
• 도메인 간 차이를 최소화하기 위한 새로운 교차 도메인 픽셀 수준 사이클 연관을 제안한다.
• 추가 매개변수 없이 엔드투엔드 학습을 가능하게 하면서 특성의 식별력을 향상한다.
• 과대적합을 줄이고 대상 픽셀 커버리지를 높이기 위해 다중 수준 연관을 도입한다.

제안 방법

• 소스 픽셀 특징과 타깃 픽셀 특징 간의 코사인 유사도를 사용하여 교차 도메인 픽셀 유사성을 정의한다.
• 소스 픽셀에 대해 가장 유사한 타깃 픽셀을 선택하고 그 타깃 픽셀에 대해 가장 유사한 소스 픽셀을 선택하는 순환 연관을 구성한다; 순환 일관성을 학습 신호로 강제한다.
• 연관된 픽셀 연결을 강화하고 유사도를 정규화하여 식별력을 높이기 위해 대조 손실(InfoNCE-유사) 적용(Eq. 4, Eq.5).
• 타깃 픽셀에 대한 공간적 특성 집계(spatial feature aggregation)를 도입하여 그래디언트가 이미지 전반에 확산되도록 한다(Eq.7–Eq.8).
• 같은 사이클 연관을 최종 예측에도 적용하여 다중 수준 감독으로 확장하고 음의 KL 발산(Eq.9–Eq.10)을 사용한다.
• 소스에 대한 교차 엔트로피, Lovász-softmax, 연관/LSR 항을 결합한 전체 목적 함수를 최적화한다(Eq.14).

실험 결과

연구 질문

• RQ1 픽셀 수준의 교차 도메인 연관이 전역/불일치 기반 방법보다 도메인 시프트를 더 효과적으로 줄일 수 있는가?
• RQ2 대조적으로 픽셀 연관을 강화하면 대상 도메인의 의미 클래스 간 식별력이 향상되는가?
• RQ3 공간적 집계가 특징을 확산시켜 대표되지 않는 대상 픽셀의 그래디언트를 개선하고 연관 편향을 줄이는가?
• RQ4 다중 수준(특징 및 예측) 연관이 소스에 대한 과적합을 완화하고 적응을 향상시키는가?

주요 결과

• PLCA는 GTAV→Cityscapes에서 47.7% mIoU를 달성, 소스 단독 기반선보다 13.4포인트 향상.
• PLCA는 SYNTHIA→Cityscapes에서 46.8% mIoU를 달성, 소스 단독 기반선보다 10.4포인트 향상.
• 다중 수준 연관(특징 및 예측)이 단일 수준 대비 추가 이득을 제공한다.
• 최신 대립적 방법과 비교할 때 PLCA는 AdaptSeg를 GTAV→Cityscapes에서 5.3% 포인트, SYNTHIA→Cityscapes에서 7.3% 포인트 향상시킨다.
• PLCA는 자가 학습 기반(CRST, PyCDA 등)과 비교해도 엔드투엔드 및 매개변수 효율성이 우수하거나 우수하며 경쟁력 있다.
• 단일 단계에서 추가 매개변수 없이 엔드투엔드로 작동하며, 정성적 시각화에서 더 부드럽고 덜 잡음이 많은 예측으로 세분화 품질이 향상된다.