[논문 리뷰] Exploring Invariances in Deep Convolutional Neural Networks Using Synthetic Images.

Xingchao Peng, Baochen Sun외 2명|arXiv (Cornell University)|2014. 12. 22.

Domain Adaptation and Few-Shot Learning인용 수 45

한 줄 요약

이 논문은 합성 3D CAD 이미지로 훈련된 딥 컨volution 신경망(DCNN)에서의 불변성(invariance)을 조사하며, 형태, 자세, 사진적 사실성의 변동에 대해 DCNN이 강력한 불변성을 보임을 입증한다. 저자들은 실물 데이터와 합성 데이터를 조합한 적응형 훈련 방법을 제안하여, PASCAL VOC2007에서 소수의 샘플 학습(few-shot learning) 조건에서 이전 방법보다 뛰어난 성능을 보이며, Office 벤치마크의 도메인 이동 도메인 시나리오에서는 실물 데이터 훈련과 동등하거나 이를 초월하는 성능을 달성한다.

ABSTRACT

Crowdsourced 3D CAD models are becoming easily accessible online, and can potentially generate an infinite number of training images for almost any object category. We show that adapting contemporary Deep Convolutional Neural Net (DCNN) models to such data can be effective, especially in the few-shot regime where none or only a few annotated real images are available, or where the images are not well matched to the target domain. Little is known about the degree of realism necessary to train models with deep features on CAD data. In a detailed analysis, we use synthetic images to probe DCNN invariance to object-class variations caused by 3D shape, pose, and photorealism, with surprising findings. In particular, we show that DCNNs used as a fixed representation exhibit a large amount of invariance to these factors, but, if allowed to adapt, can still learn effectively from synthetic data. These findings guide us in designing a method for adaptive training of DCNNs using real and synthetic data. We show that our approach significantly outperforms previous methods on the benchmark PASCAL VOC2007 dataset when learning in the fewshot scenario, and outperform training with real data in a domain shift scenario on the Office benchmark.

연구 동기 및 목표

• 합성 데이터에서 효과적인 DCNN 훈련을 위해 어느 정도의 사실성이 필요한가를 이해하는 것.
• 합성 이미지에서 3D 형태, 자세, 사진적 사실성의 변동에 대해 DCNN의 불변성 특성을 조사하는 것.
• 특히 자원이 제한된 환경나 도메인 이동 상황에서 효과적인 DCNN 적응을 가능하게 하는 방법을 개발하는 것.
• 합성 데이터를 주 훈련 소스로 활용하여 소수 샘플 학습 성능 향상 및 도메인 일반화 성능 향상시키는 것.

제안 방법

• 저자들은 커뮤니티 기반의 3D CAD 모델을 사용해 합성 이미지를 생성하며, 객체의 형태, 자세, 사진적 사실성을 다양화하여 DCNN의 불변성을 탐구한다.
• 고정된 특징을 가진 DCNN 표현을 합성 데이터에 대해 평가하여 형태, 자세, 사실성 요인에 따른 불변성 수준을 측정한다.
• 미리 훈련된 DCNN을 합성 데이터에서 미세조정한 후, 제한된 실물 데이터를 사용해 추가로 적응시키는 적응형 훈련 전략을 설계한다.
• 이 방법은 넓은 도메인 커버리지를 위해 합성 데이터를 활용하고, 도메인 특화된 적응을 위해 실물 데이터를 활용하며, 특히 소수 샘플 및 도메인 이동 환경에서 뛰어난 성능을 발휘한다.
• 이 접근법은 DCNN의 합성 변동에 대한 불변성을 활용하여, 높은 사실성 요구 없이도 효과적인 전이 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 합성 이미지로 훈련했을 때, DCNN 특징이 3D 형태, 자세, 사진적 사실성의 변동에 대해 어느 정도 불변성을 보이는가?
• RQ2 합성 데이터에 사진적 세부 사항이 없더라도 DCNN이 효과적으로 학습할 수 있는가?
• RQ3 합성 데이터에서의 적응형 미세조정에 이어 제한된 실물 데이터를 사용할 경우, 소수 샘플 학습 성능가 어떻게 향상되는가?
• RQ4 도메인 이동 시나리오에서는 실물 데이터로만 훈련하는 것보다 합성 및 실물 데이터를 조합한 훈련이 성능을 뛰어나게 하는가?

주요 결과

• 합성 데이터를 사용할 경우, 조건부로 높은 사실성이 없더라도 DCNN은 3D 형태, 자세, 사진적 사실성의 변동에 대해 강력한 불변성을 보인다.
• 합성 데이터에서의 적응형 미세조정은 특히 소수 샘플 환경에서 최소한의 실물 데이터와 조합될 경우 효과적인 학습을 가능하게 한다.
• 소수 샘플 학습 조건에서 제안된 방법은 PASCAL VOC2007 벤치마크에서 최고 성능을 기록한다.
• Office 벤치마크의 도메인 이동 시나리오에서, 이 방법은 실물 데이터로만 훈련하는 것보다 뛰어나며, 뛰어난 도메인 일반화 성능을 입증한다.