[논문 리뷰] Learning Deep Object Detectors from 3D Models

Xingchao Peng, Baochen Sun외 2명|arXiv (Cornell University)|2014. 12. 22.

Advanced Neural Network Applications참고 문헌 24인용 수 25

한 줄 요약

이 논문은 실존하는 3D CAD 모델에서 생성된 합성 이미지를 사용하여 딥 오브제크트 검출기의 훈련을 제안하며, 이러한 합성 이미지에서의 미세조정이 소수의 샘플 및 도메인 이동 시나리오에서 성능을 크게 향상시킨다는 것을 입증한다. 저수준의 단서(예: 텍스처, 배경 등)가 부족하거나 단순화된 경우에도 합성 데이터에서 학습된 쿠-인variant 특징을 활용하여, PASCAL VOC2007 및 Office 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Crowdsourced 3D CAD models are becoming easily accessible online, and can potentially generate an infinite number of training images for almost any object category.We show that augmenting the training data of contemporary Deep Convolutional Neural Net (DCNN) models with such synthetic data can be effective, especially when real training data is limited or not well matched to the target domain. Most freely available CAD models capture 3D shape but are often missing other low level cues, such as realistic object texture, pose, or background. In a detailed analysis, we use synthetic CAD-rendered images to probe the ability of DCNN to learn without these cues, with surprising findings. In particular, we show that when the DCNN is fine-tuned on the target detection task, it exhibits a large degree of invariance to missing low-level cues, but, when pretrained on generic ImageNet classification, it learns better when the low-level cues are simulated. We show that our synthetic DCNN training approach significantly outperforms previous methods on the PASCAL VOC2007 dataset when learning in the few-shot scenario and improves performance in a domain shift scenario on the Office benchmark.

연구 동기 및 목표

• 오브제크트 검출에서 새로운 오브제크트 카테고리에 대한 실세계 레이블링된 훈련 데이터가 제한적인 문제를 해결하기 위해.
• 딥 컨volution 네트워크(CNN)가 현실적인 텍스처, 자세, 배경이 없는 3D CAD 모델에서 생성된 합성 2D 이미지로부터 강력한 오브제크트 검출기를 학습할 수 있는지 조사하기 위해.
• 합성 데이터 증강을 활용하여 소수의 샘플 및 도메인 이동 일반화를 향상시키기 위해.
• 색상, 텍스처, 3D 자세, 환경 맥락과 같은 저수준 단서가 누락되었을 때 딥 특징의 불변성 정도를 정량화하기 위해.
• 최소한의 인간 레이블링을 통해 새로운 카테고리에 대해 검출기를 스케일러블하게 훈련시키는 방법을 개발하기 위해.

제안 방법

• 자유롭게 이용 가능한 3D CAD 모델에서 자세, 조명, 배경을 다양화하는 렲링 파이프라인을 사용하여 합성 2D 훈련 이미지를 생성한다.
• 합성 데이터 생성 설정 두 가지를 평가한다: V-GRAY(균일한 회색 텍스처, 흰색 배경) 및 V-TX(실제 이미지에서 유래한 현실적인 텍스처, 흰색 배경).
• 영역 제안 네트워크와 R-CNN 스타일 훈련을 사용하여, 합성 데이터에서 딥 CNN(VCNN)을 미세조정하여 오브제크트 검출을 수행한다.
• 선택적 검색을 사용하여 영역 제안을 생성하고, 합성 이미지에서 네트워크를 미세조정하여 특징 일반화를 향상시킨다.
• 도메인 이동 시나리오에서는 타겟 도메인의 실재 텍스처를 사용하여 합성 데이터를 생성하여 도메인 특화 단서를 시뮬레이션한다.
• 성능 평가를 위해 PASCAL VOC2007(소수의 샘플) 및 Office 데이터셋(도메인 이동)을 사용하며, 실재 데이터 기반 기준 및 이전의 합성 방법과 비교한다.

실험 결과

연구 질문

• RQ1 실제 텍스처와 배경이 없는 3D CAD 모델에서 생성된 합성 2D 이미지에서 딥 CNN이 강력한 오브제크트 검출기를 학습할 수 있는가?
• RQ2 색상, 텍스처, 3D 자세, 환경 맥락과 같은 저수준 단서가 누락되었을 때 딥 특징의 불변성은 어느 정도인가?
• RQ3 소수의 샘플 및 도메인 이동 시나리오에서 실재 데이터 기반 훈련 대비 합성 데이터 기반 훈련이 성능 향상에 기여하는가?
• RQ4 합성 데이터에서 학습된 불변성은 실세계 검출 작업으로까지 전이 가능한가?
• RQ5 합성 데이터에서 현실적인 텍스처를 시뮬레이션하면 비포토레티스틱 렌더링 대비 검출기 성능 향상에 기여하는가?

주요 결과

• 실제 텍스처나 배경이 없는 단순화된 단서를 가진 합성 CAD 렌더링 이미지에서 사전 학습된 DCNN을 미세조정하면, 강력한 검출 성능을 달성한다.
• PASCAL VOC2007 데이터셋에서, 카테고리당 10장의 실재 이미지만으로도 31% mAP를 달성하여 실재 데이터 전용 및 이전의 합성 방법보다 뛰어난 성능을 보였다.
• Office 벤치마크의 도메인 이동 시나리오에서, Webcam 이미지에서 훈련된 모델이 Amazon 도메인에서 46.25% mAP를 기록하여, 실재 Webcam 데이터로만 훈련된 모델의 38.91% mAP보다 뚜렷이 뛰어났다.
• V-TX 설정(실제 텍스처 사용)이 V-GRAY 설정(균일한 회색)보다 성능이 뛰어나, 현실적인 텍스처를 시뮬레이션하면 특히 미세조정이 이루어지는 경우 특징 학습이 향상됨을 시사한다.
• 연구 결과에 따르면, DCNN는 검출을 위해 미세조정된 경우 저수준 단서가 누락되었을 때 강력한 불변성을 보이지만, 네트워크가 미세조정되지 않은 경우 이 불변성은 약화됨을 확인했다.
• 결과적으로, 3D 모델에서 유래한 합성 데이터는 실재 데이터를 효과적으로 보완할 수 있으며, 자동화된 레이블링 부담을 줄이고 저자원 및 도메인 이동 설정에서의 성능 향상에 기여한다.