[논문 리뷰] Domain Stylization: A Strong, Simple Baseline for Synthetic to Real Image Domain Adaptation

Ayşegül Dündar, Ming-Yu Liu외 3명|arXiv (Cornell University)|2018. 07. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 72

한 줄 요약

논문은 Domain Stylization(DS)이라는 간단한 비 GAN 접근법으로 실제 이미지와 무작위로 매핑된 가짜 이미지를 사용해 합성-실제 간 차이를 다리질하고, GAN을 학습시키지 않고 시맨틱 분할 및 객체 탐에서 최첨단 성능을 달성합니다.

ABSTRACT

Deep neural networks have largely failed to effectively utilize synthetic data when applied to real images due to the covariate shift problem. In this paper, we show that by applying a straightforward modification to an existing photorealistic style transfer algorithm, we achieve state-of-the-art synthetic-to-real domain adaptation results. We conduct extensive experimental validations on four synthetic-to-real tasks for semantic segmentation and object detection, and show that our approach exceeds the performance of any current state-of-the-art GAN-based image translation approach as measured by segmentation and object detection metrics. Furthermore we offer a distance based analysis of our method which shows a dramatic reduction in Frechet Inception distance between the source and target domains, offering a quantitative metric that demonstrates the effectiveness of our algorithm in bridging the synthetic-to-real gap.

연구 동기 및 목표

• 합성 데이터를 사용할 때의 공변량 편이 covariate shift 을 다루기 위해.
• 시맨틱 내용을 보존하면서 실제 이미지를 사용해 합성 이미지를 스타일링하는 간단하고 비-GAN 방법을 제안합니다.
• 다수 벤치마크에서 시맨틱 분할과 객체 탐에서 최첨단 성능을 시연합니다.
• 합성 도메인과 실도메인 간 분포 정렬을 정량화하기 위한 Frechet Inception Distance (FID) 분석을 제공합니다.
• 반복적 도메인 스타일링의 실용적 인사이트와 성능에 대한 영향을 제공합니다.

제안 방법

• 기존의 사진 사실적 스타일 전송 알고리즘(FastPhotoStyle)을 사용하여 합성 이미지를 임의로 선택된 실제 이미지 스타일로 스타일링합니다.
• 스타일링 중 합성 이미지와 연관된 시맨틱 마스크를 변경하지 않아 의미 정보를 보존합니다.
• 예측된 실제 이미지 마스크를 사용해 스타일 전송을 개선하기 위해 시맨틱 분할 네트워크를 반복적으로 학습하고 합성 데이터를 재 스타일링합니다(Algorithms 1).
• 합성 이미지와 실제 스타일을 매칭하여 스타일화된 데이터셋 D^S를 생성하고 스타일화 데이터에서 SSL 네트워크를 학습합니다.
• DS를 GAN 기반 번역 및 도메인 무작위화 기준선과 Cityscapes(GTA/SYNTHIA → Cityscapes) 및 NYU/SUNCG(SUNCG → NYU)에서 비교 평가합니다.
• 분포 정렬을 정량화하기 위해 Frechet Inception Distance(FID)를 사용하고 분할 인식(feature) aware 스타일링을 사용할 때 감소를 보입니다.

실험 결과

연구 질문

• RQ1 사진 사실적 스타일 전송 기반 DS 방법이 합성에서 실세계로의 도메인 적응에 대해 GAN 기반 이미지 번역보다 우수한가?
• RQ2 실제 스타일로 합성 이미지를 스타일링할 때(시맨틱 맵이 있는 경우와 없는 경우)가 분할 및 탐지 성능에 어떤 영향을 미치는가?
• RQ3 DS가 FID로 측정된 분포 편차를 정량적으로 줄일 수 있는가, 그리고 분할 마스크의 세분화가 이에 어떤 영향을 미치는가?
• RQ4 반복적 DS와 SSL이 최종 성능에 미치는 영향은 도시 거리 장면, 실내 장면, 객체 탐지 등 태스크 전반에서 어떻게 나타나는가?

주요 결과

• DS는 GTA→Cityscapes 및 SYNTHIA→Cityscapes에서 시맨틱 분할에 대해 GAN 기반 번역 방법과 비교해 우수하거나 경쟁력 있는 정확도를 보입니다.
• 시맨틱 맵이 있는 DS가 마스크가 없는 DS보다 여러 설정에서 더 큰 개선을 이끕니다.
• DS는 합성 데이터 대비 KITTI 객체 탐정 성능을 개선하고 여러 GAN 기반 방법보다 우수한 성능을 보입니다.
• FID 분석은 DS가 합성-실제 분포 간 거리를 현저히 감소시킴을 보여주며, 특히 분할 맵이 사용될 때 그 효과가 큽니다.
• 반복적 DS/SSL 절차는 추가 이득을 제공하나 두 차례 반복 이후 수익은 둔화됩니다.