[논문 리뷰] Synthetic Data Generation and Adaption for Object Detection in Smart Vending Machines

Kai Wang, Fuyuan Shi외 3명|arXiv (Cornell University)|2019. 04. 28.

Advanced Neural Network Applications참고 문헌 29인용 수 6

한 줄 요약

이 논문은 스마트 자판기에서 객체 검출 성능을 향상시키기 위해 합성 데이터를 생성하고 적응시키는 새로운 파이프라인을 제안한다. 3차원 가상 환경에서 복잡한 물체 레이아웃과 물고기눈망울 카메라 왜곡을 시뮬레이션하고, 합성 이미지와 실제 데이터 분포를 일치시키기 위해 스타일 전이 생성 네트워크를 적용함으로써, 이 방법은 검출 mAP를 크게 향상시킨다. 단지 클래스당 200개의 합성 샘플만으로도 최적에 가까운 성능를 달성하며, 적응되지 않은 합성 데이터보다 우수하고, 고비용의 실제 데이터 수집에 대한 의존도도 감소시킨다.

ABSTRACT

This paper presents an improved scheme for the generation and adaption of synthetic images for the training of deep Convolutional Neural Networks(CNNs) to perform the object detection task in smart vending machines. While generating synthetic data has proved to be effective for complementing the training data in supervised learning methods, challenges still exist for generating virtual images which are similar to those of the complex real scenes and minimizing redundant training data. To solve these problems, we consider the simulation of cluttered objects placed in a virtual scene and the wide-angle camera with distortions used to capture the whole scene in the data generation process, and post-processed the generated images with a elaborately-designed generative network to make them more similar to the real images. Various experiments have been conducted to prove the efficiency of using the generated virtual images to enhance the detection precision on existing datasets with limited real training data and the generalization ability of applying the trained network to datasets collected in new environment.

연구 동기 및 목표

• 스마트 자판기에서 객체 검출을 위한 실제 세계 학습 데이터 부족 문제를 해결하기 위해.
• 합성 데이터 생성 시 실제 세계의 복잡한 물체 레이아웃과 광각 카메라 왜곡을 현실적으로 시뮬레이션하기 위해.
• 학습 전에 실제 세계 데이터 분포와 일치하도록 합성 이미지의 스타일을 적응시켜 그 현실감을 향상시키기 위해.
• 합성 데이터의 품질과 일반화 능력을 향상시켜 대규모 실제 데이터 레이블링에 대한 의존도를 줄이기 위해.
• 도메인 내 및 도메인 외 테스트 세트에서의 성능을 검증하여 강건한 일반화 능력을 입증하기 위해.

제안 방법

• 스마트 자판기 내부의 3차원 구조와 실제 제품의 고해상도 3차원 모델을 재구성하여 가상 시나리오를 생성한다.
• 가상 시나리오 내에서 물체를 복잡하고 현실적인 레이아웃으로 배열하고 조명 조건을 다양화하여 실제 세계의 변동성을 시뮬레이션한다.
• 실제 이미징 조건을 반영하기 위해 기하학적 왜곡을 포함한 광각 물고기눈망울 렌즈 카메라를 시뮬레이션한다.
• 실제 세계 값 근처에서 카메라 파라미터, 물체 위치, 환경 요소를 다양화하여 합성 이미지를 렌더링한다.
• 실제 이미지의 스타일을 합성 이미지에 전이하기 위해 생성적 적대적 네트워크(GAN)를 적용하여 그 분포를 실제 데이터와 일치시킨다.
• 종단 간 학습을 위해 적응된 합성 이미지 내 물체에 대해 자동으로 바운딩 박스 레이블을 생성한다.

실험 결과

연구 질문

• RQ1 실제 카메라 모델링과 현실적인 물체 레이아웃을 갖춘 합성 데이터 생성이 스마트 자판기에서의 객체 검출 성능 향상에 기여하는가?
• RQ2 스타일 전이가 합성 이미지와 실제 이미지 간 도메인 갭을 줄이는 데 얼마나 효과적인가?
• RQ3 학습 이전에 데이터를 적응시키는 것이 검출 정확도를 유지하거나 향상시키면서 실제 레이블링에 필요한 데이터량을 줄이는가?
• RQ4 적응된 합성 데이터로 학습된 모델이 다른 조명, 배경, 레이아웃을 가진 새로운 환경으로 일반화 가능한가?
• RQ5 최소한의 데이터 수집 노력으로 검출 mAP를 최대화하기 위해 합성 데이터와 실제 데이터 사이의 최적의 균형은 무엇인가?

주요 결과

• 유사한 수의 합성 및 실제 이미지를 사용할 때, 제안된 방법이 평균 평균 정확도(mAP)를 거의 2%p 향상시켜 데이터 효율성이 향상됨을 입증했다.
• 스타일 전이를 적용한 합성 데이터로 학습한 모델는 클래스당 단지 200개의 합성 샘플로 최적의 mAP를 달성했으며, 적응되지 않은 합성 데이터는 유사한 성능에 도달하기 위해 500개의 샘플이 필요했다.
• 적응된 합성 데이터는 다른 층에서 수집된 새로운 테스트 세트로도 잘 일반화되었으며, 실제 데이터와 조합했을 때 mAP가 거의 89에 도달했다.
• 데이터 적응 단계는 실제 데이터 필요량을 크게 줄였으며, 낮은 데이터 볼륨에서도 원시 합성 데이터보다 적응된 합성 데이터로 학습된 모델이 더 뛰어난 성능을 보였다.
• 이 방법은 PVANET, SSD, YOLOv3와 같은 다양한 검출 아키텍처에서 일관되게 성능 향상을 보였으며, 특히 가림되거나 왜곡된 물체에 대해 정밀도가 뚜렷이 향상되었다.