[논문 리뷰] SPLAT: Semantic Pixel-Level Adaptation Transforms for Detection

Eric Tzeng, Kaylee Burns외 2명|arXiv (Cornell University)|2018. 12. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 13

한 줄 요약

SPLAT는 합성 주행 환경에서 실세계 주행 환경으로의 도메인 적응을 위한 새로운 픽셀 수준 도메인 적응 방법을 제안하며, 소스 도메인의 의미적 세그멘테이션 레이블을 사용해 순환 없는 변환 네트워크를 훈련시켜 이전 방법 대비 검출 mAP를 12.5 포인트 향상시킨다. CyCADA와 같은 순환 기반 접근 방식보다 3.8배 빠른 훈련 속도를 달성하면서 Sim10K-to-Cityscapes 벤치마크에서 성능을 뛰어넘는다.

ABSTRACT

Domain adaptation of visual detectors is a critical challenge, yet existing methods have overlooked pixel appearance transformations, focusing instead on bootstrapping and/or domain confusion losses. We propose a Semantic Pixel-Level Adaptation Transform (SPLAT) approach to detector adaptation that efficiently generates cross-domain image pairs. Our model uses aligned-pair and/or pseudo-label losses to adapt an object detector to the target domain, and can learn transformations with or without densely labeled data in the source (e.g. semantic segmentation annotations). Without dense labels, as is the case when only detection labels are available in the source, transformations are learned using CycleGAN alignment. Otherwise, when dense labels are available we introduce a more efficient cycle-free method, which exploits pixel-level semantic labels to condition the training of the transformation network. The end task is then trained using detection box labels from the source, potentially including labels inferred on unlabeled source data. We show both that pixel-level transforms outperform prior approaches to detector domain adaptation, and that our cycle-free method outperforms prior models for unconstrained cycle-based learning of generic transformations while running 3.8 times faster. Our combined model improves on prior detection baselines by 12.5 mAP adapting from Sim 10K to Cityscapes, recovering over 50% of the missing performance between the unadapted baseline and the labeled-target upper bound.

연구 동기 및 목표

• 합성에서 실세계 주행 환경으로의 전이 시 도메인 시프트 문제를 해결한다.
• 특징 수준의 도메인 혼동에 의존하거나 효과적인 픽셀 수준 이미지 변환을 제공하지 못하는 이전 도메인 적응 방법의 한계를 극복한다.
• 의미적 세그멘테이션 레이블을 지도로 사용해 픽셀 수준의 이미지 간 변환을 학습하는 빠르고 순환 없는 방법을 개발한다.
• 라벨이 부여된 소스 데이터와 소스 데이터의 편재 라벨링된 비라벨 데이터를 활용해 Sim10K-to-Cityscapes 벤치마크에서의 검출 성능을 향상시킨다.
• 순환 일관성 기반 GAN 기반 접근 방식에 비해 훨씬 빠른 훈련 시간을 확보하면서 최신 기술 수준의 검출 mAP를 달성한다.

제안 방법

• 소스 이미지를 타겟 도메인 스타일로 변환한 이미지에 대해 정렬된 쌍과 편재 라벨 손실을 활용해 검출기 훈련.
• 소스 도메인의 의미적 세그멘테이션 레이블을 조건으로 사용해 순환 없는 변환 네트워크를 구축해 현실적인 타겟 스타일 이미지를 생성.
• 생성자에게 의미적 일致성을 유지하도록 제약을 두는 새로운 의미적 픽셀 예측 손실을 도입해 픽셀 변환 네트워크를 훈련.
• 원본 소스 검출 레이블(비라벨 데이터에 대한 유추 레이블 포함)과 변환된 소스 이미지를 통합해 최종 검출기 훈련.
• 순환 일관성 제약을 의미적 레이블 지도로 대체해, 타겟에서 소스로의 번역이 필요 없이도 더 빠르고 안정적인 훈련을 가능하게 한다.
• 스펙트럼 정규화 및 기타 GAN 안정화 기법을 사용해 순환 제약 없이도 훈련 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 특징 수준의 도메인 혼동 대비 픽셀 수준의 이미지 간 변환은 객체 검출 도메인 적응에 어떤 영향을 미치는가?
• RQ2 의미적 세그멘테이션 지도로 훈련된 순환 없는 변환 네트워크는 검출 적응에서 순환 일관성 GAN보다 우수한 성능을 낼 수 있는가?
• RQ3 소스 도메인에 의미적 세그멘테이션 레이블을 포함시키면 학습된 픽셀 변환의 품질과 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 방법은 순환 기반 접근 방식보다 더 빠른 훈련 속도를 확보하면서도 검출 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 비라벨 소스 데이터에 대한 편재 라벨링은 도메인 적응에서 검출 성능 향상에 얼마나 기여하는가?

주요 결과

• SPLAT는 Sim10K-to-Cityscapes 벤치마크에서 이전 방법 대비 12.5 mAP 향상으로 최신 기술 수준을 수립한다.
• 제안된 순환 없는 방법인 SPLAT-lite는 Cityscapes에서 51.5 mAP를 달성했으며, 순환 기반인 SPLAT-cycle(48.1 mAP)을 능가한다.
• SPLAT-lite는 SPLAT-cycle 대비 3.84배 더 빠른 훈련 속도를 보이며, Tesla P100에서 이미지당 훈련 반복 시간이 0.098초이다.
• 순환 없는 접근 방식은 CyCADA와 같은 순환 일관성 모델이 앓는 문제(예: 비현실적인 맥락에서 후드 장식물 생성 등)를 피한다.
• SPLAT-lite는 더 적은 파라미터를 가짐에도 불구하고 과다 매개변수를 가진 변종인 SPLAT-big보다 더 깔끔하고 콘텐츠를 잘 유지하는 이미지를 생성한다.
• 의미적 세그멘테이션 레이블의 사용은 순환 제약 없이도 신뢰할 수 있는 픽셀 수준의 변환을 가능하게 하여 속도와 정확도를 모두 향상시킨다.