[논문 리뷰] SPIGAN: Privileged Adversarial Learning from Simulation

Kuan-Hui Lee, Germán Ros외 2명|arXiv (Cornell University)|2018. 10. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 59인용 수 27

한 줄 요약

SPIGAN은 생성적 적대적 네트워크를 통해 시뮬레이터에서 제공하는 고급 정보(예: z-버퍼 깊이)를 활용하여 시뮬레이션에서 실제 환경으로의 도메인 갭을 줄이는 새로운 비지도 도메인 적응 프레임워크를 제안한다. 생성기, 판별기, 작업 네트워크, 고급 정보 네트워크를 함께 훈련시킴으로써, Cityscapes와 Vistas와 같은 실제 데이터셋에서 성능을 향상시키며, '인간' 클래스에서 최대 +15%의 IoU 향상을 달성하고 최신 기술을 초월한다.

ABSTRACT

Deep Learning for Computer Vision depends mainly on the source of supervision.Photo-realistic simulators can generate large-scale automatically labeled syntheticdata, but introduce a domain gap negatively impacting performance. We propose anew unsupervised domain adaptation algorithm, called SPIGAN, relying on Sim-ulator Privileged Information (PI) and Generative Adversarial Networks (GAN).We use internal data from the simulator as PI during the training of a target tasknetwork. We experimentally evaluate our approach on semantic segmentation. Wetrain the networks on real-world Cityscapes and Vistas datasets, using only unla-beled real-world images and synthetic labeled data with z-buffer (depth) PI fromthe SYNTHIA dataset. Our method improves over no adaptation and state-of-the-art unsupervised domain adaptation techniques.

연구 동기 및 목표

• 컴퓨터 비전을 위한 딥러닝에서 합성 시뮬레이션 데이터와 실제 이미지 간의 큰 도메인 갭을 해결하기 위해.
• 목표 도메인에 대한 실제 레이블이 필요 없이 비지도 도메인 적응을 가능하게 하기 위해.
• 내부 시뮬레이터에서 생성된 고급 정보(예: z-버퍼에서의 깊이)를 훈련 중 정규화 요소로 활용하기 위해.
• 특히 视覚적으로 다양성이 큰 실제 데이터셋에서 일반화 능력을 향상시키고 부정적 전이를 줄이기 위해.
• 이미지 번역, 작업 예측, 고급 정보 모델링을 동시에 최적화하는 통합 프레임워크를 개발하기 위해.

제안 방법

• 생성기 네트워크는 시뮬레이터에서의 합성 이미지를 (예: SYNTHIA) 실제 이미지(예: Cityscapes 또는 Vistas)와 유사하게 변환하도록 훈련된다.
• 판별기 네트워크는 실제 이미지와 생성된 이미지를 구분함으로써 픽셀 수준의 분포 일치를 강제한다.
• 작업 네트워크는 적응된 이미지에서 의미적 세그멘테이션 레이블을 예측하며, 생성기 및 판별기와 함께 엔드 투 엔드로 훈련된다.
• 고급 정보 네트워크는 합성 이미지와 적응된 이미지 양쪽에서 훈련되어 시뮬레이터 전용 고급 정보(예: z-버퍼에서의 깊이)를 예측하며, 보조 작업 및 정규화 요소로 작용한다.
• 모델은 적대적 손실, 사이클 일관성, 고급 정보 예측 손실을 함께 최적화하며, 고급 정보가 생성기가 구조 일관성을 유지하도록 이끈다.
• 훈련 중 실제 레이블을 사용하지 않으며, 실제 이미지와 합성 이미지를 쌍으로 이루지 않은 채로 처리한다.

실험 결과

연구 질문

• RQ1 시뮬레이터에서 유래한 고급 정보가 의미적 세그멘테이션의 비지도 도메인 적응에 기여하는가?
• RQ2 고급 정보로 깊이(z-버퍼)를 활용할 경우 도메인 적응 모델의 성능과 내구성에 어떤 영향을 미치는가?
• RQ3 특히 시각적으로 다양성이 큰 데이터셋에서, 고급 정보의 사용이 합성에서 실제 환경으로의 적응 시 부정적 전이를 줄이는가?
• RQ4 SPIGAN은 최신 기술의 비지도 도메인 적응 기법과 비교해 세그멘테이션 정확도 및 도메인 갭 감소 측면에서 어떻게 성능을 내는가?
• RQ5 고급 정보는 '인간'이나 '차량'과 같은 어려운 클래스에서 일반화 능력을 얼마나 향상시키는가?

주요 결과

• Cityscapes의 '인간' 클래스에서 SPIGAN은 평균 IoU를 +15% 향상시켰으며, 이는 세그멘테이션에 특히 도전적인 클래스이다.
• Vistas 데이터셋에서는 SPIGAN이 원본 모델 대비 +4.3%의 평균 IoU 향상을 달성하여, 시각적으로 다양성이 큰 실제 데이터에서의 효과를 입증했다.
• SPIGAN-no-PI는 Vistas에서 원본 모델보다 13% 성능이 열 劣하다. 이는 도메인 갭이 크기 때문에 고급 정보가 없을 경우 부정적 전이가 발생함을 시사한다.
• SPIGAN-no-PI의 경우 평가 이미지의 80%에서 적응 후 IoU가 낮아졌지만, SPIGAN의 경우 이 비율은 42%에 그쳐 고급 정보의 일반화에 대한 핵심적 역할을 입증했다.
• 정성적 결과에서는 SPIGAN이 더 일관되고 장면의 구조를 고려한 적응 결과를 생성함을 확인했으며, 특히 Vistas와 같은 복잡한 환경에서 PI가 없는 방법에 비해 잡음과 아티팩트를 줄였다.
• Cityscapes와 Vistas 양쪽 데이터셋에서 최신 기술의 비지도 도메인 적응 기법을 초월하며, 다양한 도메인 시프트가 존재하는 데이터셋 간의 강건성을 확인했다.