[논문 리뷰] Synthetic to Real Adaptation with Generative Correlation Alignment Networks

Xingchao Peng, Kate Saenko|arXiv (Cornell University)|2017. 01. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 14

한 줄 요약

이 논문은 깊이 신경망 기반의 생성적 상관관계 정렬 네트워크(DGCAN)를 제안한다. 이 방법은 CAD-시뮬레이션 데이터에서 유도된 객체 형태와 실제 이미지에서 유도된 자연스러운 질감을 조합하여 실사와 유사한 훈련 이미지를 생성한다. 깊이 특징 공간에서의 콘텐츠 보존과 CORAL 기반 상관관계 정렬을 활용함으로써 DGCAN은 도메인 간 차이를 줄이고, 생성된 데이터로 훈련된 분류기가 Office 데이터셋의 과도한 도메인인 Amazon 도메인에서 49.91%의 정확도를 달성하도록 한다. 이는 직접 시뮬레이션 데이터로 훈련했을 때보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

Synthetic images rendered from 3D CAD models are useful for augmenting training data for object recognition algorithms. However, the generated images are non-photorealistic and do not match real image statistics. This leads to a large domain discrepancy, causing models trained on synthetic data to perform poorly on real domains. Recent work has shown the great potential of deep convolutional neural networks to generate realistic images, but has not utilized generative models to address synthetic-to-real domain adaptation. In this work, we propose a Deep Generative Correlation Alignment Network (DGCAN) to synthesize images using a novel domain adaption algorithm. DGCAN leverages a shape preserving loss and a low level statistic matching loss to minimize the domain discrepancy between synthetic and real images in deep feature space. Experimentally, we show training off-the-shelf classifiers on the newly generated data can significantly boost performance when testing on the real image domains (PASCAL VOC 2007 benchmark and Office dataset), improving upon several existing methods.

연구 동기 및 목표

• 딥 러닝에서 비실사적 CAD-시뮬레이션 이미지와 실제 이미지 사이의 큰 도메인 간 격리 문제를 해결하기 위해.
• 더 현실적인 훈련 샘플을 생성함으로써 시뮬레이션 데이터로 훈련된 객체 인식 모델의 일반화 성능을 향상시키기 위해.
• 쌍체 데이터가 필요 없이도 객체 형태를 보존하면서 실제 이미지의 통계에 적응하는 생성 모델을 개발하기 위해.
• 생성적 특징 정렬을 통한 시뮬레이션에서 실제 도메인으로의 도메인 적응이 기존 비지도 도메인 적응 방법보다 뛰어나다는 것을 입증하기 위해.

제안 방법

• DGCAN은 VGG-16 기반 생성자로, CAD-시뮬레이션 이미지의 객체 윤곽과 실제 배경 이미지의 질감을 조합하여 이미지를 생성한다.
• 초기 합성곱 레이어(예: conv3_2)에서 콘텐츠 보존을 위해 ℓ² 특징 손실을 적용하여 객체 형태의 정밀도를 유지한다.
• 초기 합성곱 레이어 여러 개(예: conv1_1에서 conv5_1까지)에 CORAL 손실을 적용하여 시뮬레이션 및 실제 이미지 특징 간 이차 통계를 정렬한다.
• 도메인 간 차이를 깊이 특징 공간에서 최소화하기 위해 콘텐츠 손실과 도메인 정렬 손실을 동시에 사용하여 네트워크를 종합적으로 훈련한다.
• 생성된 이미지를 사용해 표준 분류기를 훈련하고, 이를 실제 이미지 테스트 세트에서 평가한다.
• PASCAL VOC 2007과 Office 데이터셋에서 평가하며, 손실 레이어 구성에 대한 분석 실험도 실시한다.

실험 결과

연구 질문

• RQ1 생성 모델이 깊이 특징 공간에서 시뮬레이션 이미지와 실제 이미지 간의 도메인 간 격리를 효과적으로 줄일 수 있는가?
• RQ2 형태 보존과 상관관계 정렬을 결합함으로써 실세계 벤치마크에서의 일반화 성능이 향상되는가?
• RQ3 콘텐츠 손실과 CORAL 손실을 적용할 특징 레이어의 선택이 생성된 이미지의 품질과 후속 분류 정확도에 어떤 영향을 미치는가?
• RQ4 DGCAN로 생성된 데이터는 직접 시뮬레이션 데이터로 훈련한 것과 기존 비지도 도메인 적응 방법보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• DGCAN로 생성된 이미지는 깊이 특징 공간에서 시뮬레이션 및 실제 이미지 간 이차 통계를 정렬함으로써 도메인 간 격리를 크게 줄였다.
• DGCAN은 Office 데이터셋의 Amazon 도메인에서 49.91%의 상위-1 정확도를 달성했으며, 이는 직접 CAD-시뮬레이션 데이터로 훈련했을 때의 44.69%보다 뚜렷한 향상이다.
• DGCAN은 DAN과 같은 다수의 최첨단 비지도 도메인 적응 방법을 뛰어넘었으며, 웹캠 도메인으로 훈련된 모델조차도 능가했다.
• 지식 전이 기반 적응(예: DAN)과 결합할 경우, DGCAN로 생성된 데이터는 Amazon 도메인에서 51.93%의 정확도로 성능을 더욱 향상시켰다.
• 정성적 결과에서는 DGCAN이 객체 형태와 자연스러운 질감을 성공적으로 융합하여 비현실적인 대비를 줄이고 현실감을 향상시켰다.
• 실패 사례로, 책상 램프를 장난감 자전거로 잘못 분류하는 등 복잡하거나 모호한 장면에서는 한계를 드러냈다.