[논문 리뷰] Object Detection Using Deep CNNs Trained on Synthetic Images

Param Rajpura, Hristo Bojinov외 1명|arXiv (Cornell University)|2017. 06. 21.

Advanced Neural Network Applications참고 문헌 30인용 수 44

한 줄 요약

이 논문은 혼잡한 냉장고 환경에서 포장된 식품 감지를 위해 3D 렌더링된 합성 이미지로만 깊이 학습된 CNN 객체 검출기를 제안한다. 단지 4,000장의 합성 이미지만을 사용함에도 불구하고 모델은 평균 정밀도(mAP) 24를 달성하며, 실사 이미지 400장으로 미세조정할 경우 12% 향상(27 mAP)되어 합성 데이터에서 실세계 데이터로의 효과적인 전이 학습을 입증한다.

ABSTRACT

The need for large annotated image datasets for training Convolutional Neural Networks (CNNs) has been a significant impediment for their adoption in computer vision applications. We show that with transfer learning an effective object detector can be trained almost entirely on synthetically rendered datasets. We apply this strategy for detecting pack- aged food products clustered in refrigerator scenes. Our CNN trained only with 4000 synthetic images achieves mean average precision (mAP) of 24 on a test set with 55 distinct products as objects of interest and 17 distractor objects. A further increase of 12% in the mAP is obtained by adding only 400 real images to these 4000 synthetic images in the training set. A high degree of photorealism in the synthetic images was not essential in achieving this performance. We analyze factors like training data set size and 3D model dictionary size for their influence on detection performance. Additionally, training strategies like fine-tuning with selected layers and early stopping which affect transfer learning from synthetic scenes to real scenes are explored. Training CNNs with synthetic datasets is a novel application of high-performance computing and a promising approach for object detection applications in domains where there is a dearth of large annotated image data.

연구 동기 및 목표

• 냉장고 내 포장된 식품과 같이 내부 차이가 큰 경우에 대해 실제 데이터셋의 레이블이 부족한 문제를 해결하기 위해 CNN의 객체 검출 학습에 있어 제약된 실제 데이터셋 문제를 다루기.
• 복잡하고 혼잡한 환경에서 강력한 객체 검출기를 훈련하기 위해 실사 데이터의 대안으로 합성 데이터셋이 유용한지 조사하기.
• 합성 데이터 품질, 데이터 다양성, 훈련 전략이 합성에서 실사로의 전이 학습 성능에 미치는 영향 평가하기.
• 모델 아키텍처, 미세조정 전략, 조기 정지와 같은 하이퍼파라미터를 탐색하여 검출 성능 최적화하기.

제안 방법

• 200종의 다른 3D 모델에서 생성한 4,000장의 합성 렌더링 이미지를 사용해 CNN 객체 검출기 훈련하기.
• ImageNet으로 사전 훈련된 모델에서 시작해 실사 냉장고 환경에 대해 전이 학습을 적용하여 네트워크를 미세조정하기.
• 훈련 사전 자료집에 포함된 3D 모델 수(10~400)를 체계적으로 변화시켜 모델 다양성이 검출 성능에 미치는 영향 평가하기.
• 계층별로 미세조정을 구현하여 깊이 있는 레이어를 단계적으로 해동하여 합성에서 실사로의 특징 전이 최적화하기.
• 검증 mAP를 기반으로 조기 정지를 적용해 합성 데이터에 대한 과적합을 방지하고, 25~50 에포크 동안 훈련을 모니터링하기.
• 50명의 커뮤니티 기반 사용자가 제공한 50개의 냉장고 환경 시나리오로 구성된 독립된 테스트 세트에서 성능 평가하기(관심 대상 물체 55개, 혼란 물체 17개 포함).

실험 결과

연구 질문

• RQ1 내부 차이가 큰 실세계 객체 검출 과제(냉장고 내 포장된 식품)에 대해 합성 이미지로만 훈련된 깊이 학습된 CNN 객체 검출기가 수용 가능한 성능을 달성할 수 있는가?
• RQ2 합성 데이터로 사전 훈련된 모델에 실사 이미지 400장으로 미세조정했을 때 검출 성능이 어떻게 향상되는가?
• RQ3 훈련 사전 자료집에 포함된 3D 모델의 다양성(고유한 3D 모델 수)이 실세계 환경에서 검출기의 일반화 능력에 어떤 영향을 미치는가?
• RQ4 선택적 레이어 해동 vs. 전체 레이어 미세조정 중 어느 전략이 합성에서 실사로의 전이 성능을 더 잘 끌어내는가?
• RQ5 조기 정지는 합성 데이터에 대한 과적합을 방지하고 실세계 테스트 데이터로의 일반화를 향상시키는가?

주요 결과

• 4,000장의 합성 이미지만으로 훈련된 CNN는 실세계 테스트 세트(50개의 냉장고 환경, 55종의 고유한 식품 제품)에서 평균 정밀도(mAP) 24를 달성했다.
• 동일한 모델을 실사 이미지 400장으로 미세조정함으로써 mAP가 12% 향상되어 27로 상승했으며, 이는 합성 데이터에서 실세계 데이터로의 강력한 전이 가능성을 입증했다.
• 훈련 사전 자료집에 포함된 고유한 3D 모델 수가 200개일 때 성능이 최고조에 이르렀고, 400개로 늘어나자 약간 감소하여 일정 수준 이상의 다양성에서는 수익 감소 현상이 나타남을 시사했다.
• GoogLeNet 아키텍처의 모든 인셉션 모듈을 미세조정한 전략이 가장 뛰어난 전이 성능를 보였으며, 깊이 있는 레이어의 적응이 도메인 일반화에 핵심적임을 보여주었다.
• 50 에포크를 초과해 훈련할 경우 검증 세트에서 mAP가 감소함으로써 합성 데이터에 대한 과적합이 발생하는 것으로 나타났으며, 이는 조기 정지의 중요성을 강조했다.
• 혼란 물체 중 채소에 대해 잘못된 양성 결과가 관찰되어, ImageNet 사전 훈련이 합성 훈련 데이터에 존재하지 않는 특정 시각적 패턴에 편향을 줄 수 있음을 시사했다.