[논문 리뷰] Training and Testing Object Detectors with Virtual Images

Yonglin Tian, Xuan Li외 2명|arXiv (Cornell University)|2017. 12. 22.

Advanced Neural Network Applications참고 문헌 28인용 수 3

한 줄 요약

이 논문은 병렬 시각(parallel vision) 철학에 기반하여 컴퓨터 그래픽스를 활용해 정밀한 애너테이션을 가진 가상 데이터셋을 생성하는 프레임워크를 제안한다. 이는 실제 데이터셋과 결합했을 때 객체 검출기 성능을 향상시킨다는 것을 입증하며, 특히 작은 객체 크기나 높은 가림 정도와 같은 도전적인 조건에서 모델의 강건성(robustness)을 효과적으로 테스트할 수 있음을 보여준다.

ABSTRACT

In the area of computer vision, deep learning has produced a variety of state-of-the-art models that rely on massive labeled data. However, collecting and annotating images from the real world has a great demand for labor and money investments and is usually too passive to build datasets with specific characteristics, such as small area of objects and high occlusion level. Under the framework of Parallel Vision, this paper presents a purposeful way to design artificial scenes and automatically generate virtual images with precise annotations. A virtual dataset named ParallelEye is built, which can be used for several computer vision tasks. Then, by training the DPM (Deformable Parts Model) and Faster R-CNN detectors, we prove that the performance of models can be significantly improved by combining ParallelEye with publicly available real-world datasets during the training phase. In addition, we investigate the potential of testing the trained models from a specific aspect using intentionally designed virtual datasets, in order to discover the flaws of trained models. From the experimental results, we conclude that our virtual dataset is viable to train and test the object detectors.

연구 동기 및 목표

• 실세계 데이터셋의 객체 검출에서의 한계, 즉 높은 애너테이션 비용, 다양성 부족, 작은 객체 크기나 높은 가림 정도와 같은 특정 특성의 부재를 해결하기 위해.
• 수동 애너테이션의 주관성과 일관성 부족 문제를 해결하기 위해 환경적 요소와 객체 수준의 변동을 제어할 수 있는 정밀한 레이블이 부여된 가상 이미지를 자동 생성함으로써.
• 특정 도전적인 시각 조건에서 객체 검출기 훈련 및 테스트를 위해 특화된 가상 데이터셋(ParallelEye)을 개발하기 위해.
• 합성 데이터셋을 훈련뿐만 아니라 제어된 시나리오에서 모델의 강건성 평가에도 활용할 수 있는지의 가능성을 탐구하기 위해.
• 가상 데이터셋과 실제 데이터셋을 조합함으로써 검출기 성능 향상이 이루어지며, 가상 데이터셋이 특정 조건에서 모델의 약점을 드러낼 수 있음을 입증하기 위해.

제안 방법

• 객체 크기, 가림 수준, 질감 변동성 등의 제어 가능한 속성을 가진 가상 이미지를 생성하기 위해 고도화된 컴퓨터 그래픽스 기법을 활용해 인위적 시나리오를 설계함.
• 모든 가상 시나리오 내 객체에 대해 정밀한 바운딩 박스 애너테이션을 자동으로 생성하여 고품질의 지도 학습 데이터를 확보함.
• 소규모 객체를 강조하는 구성(ParallelEye_01), 중간 수준의 가림을 강조하는 구성(ParallelEye_02), 고수준의 가림을 강조하는 구성(ParallelEye_03)을 포함한 다양한 설정을 가진 ParallelEye 가상 데이터셋을 구축함.
• KITTI, VOC, COCO와 같은 실제 데이터셋과의 조합을 통해 Faster R-CNN 및 DPM 등의 객체 검출기를 훈련시켜 성능 향상을 평가함.
• 실세계 벤치마크(예: KITTI)와 목적적으로 설계된 가상 테스트 세트에서 훈련된 모델을 테스트하여 특정 조건에서의 강건성 평가함.
• 모델 성능 비교를 위해 평균 정확도(Average Precision, AP)를 주요 평가 지표로 사용함.

실험 결과

연구 질문

• RQ1 병렬 시각 프레임워크에 기반해 생성된 가상 데이터셋을 실세계 데이터셋과 조합할 경우 객체 검출기 성능 향상에 기여하는가?
• RQ2 특정 특성(예: 작은 객체 크기, 높은 가림 정도)을 가진 합성 데이터의 포함 여부가 검출기의 일반화 능력과 강건성에 어떤 영향을 미치는가?
• RQ3 의도적으로 설계된 가상 데이터셋이 희귀하거나 도전적인 시각 조건을 다루는 데서 모델의 약점을 진단하는 데 얼마나 효과적인 진단 도구가 될 수 있는가?
• RQ4 훈련 데이터에서 소규모 또는 가려진 객체를 제거했을 경우, 유사한 특성을 가진 가상 데이터셋에서의 성능에 어떤 영향을 미치는가?
• RQ5 실세계 데이터셋에서 흔하지 않은 극단적인 시각 조건을 갖춘 제어된 환경에서 모델의 행동을 체계적으로 평가하기 위해 가상 데이터셋을 활용할 수 있는가?

주요 결과

• VGG-16를 사용할 경우, KITTI와 ParallelEye 데이터셋을 조합해 Faster R-CNN을 훈련시킨 결과, KITTI 테스트 세트에서 AP가 0.741에서 0.757로 향상되었으며, ResNet-50를 사용할 경우 0.785에서 0.798로 상승함.
• KITTI와 ParallelEye의 혼합 데이터셋으로 DPM을 훈련시킨 결과, KITTI 전용 훈련 시 0.516 AP에서 0.527 AP로 향상되어 합성 데이터의 유의미한 성능 기여를 확인함.
• ParallelEye_01(소형 객체)에서 테스트한 결과, 전체 KITTI 데이터로 훈련한 모델은 0.485 AP를 기록했지만, 소형 객체가 훈련 데이터에서 제거된 경우 성능이 심각하게 0.256 AP로 하락하여 소형 객체 검출에 매우 민감한 것으로 나타남.
• ParallelEye_03(고수준 가림)에서의 성능은 전체 데이터로 훈련한 경우 0.585 AP였지만, 가려진 객체가 훈련 데이터에서 제외된 경우 0.467 AP로 하락하여 AP 감소율이 20.2%에 달함. 이는 모델이 가림에 매우 취약함을 시사함.
• 소형 객체가 제거된 경우 ParallelEye_01에서 AP 감소율이 가장 높아 47.2%로 나타나, 모델의 성능이 소형 객체 훈련 데이터에 대해 저면적 영역 조건에서 가장 민감함을 입증함.
• 결과적으로, 가상 데이터셋은 훈련에 효과적일 뿐 아니라 특정 제어된 시각 조건에서의 모델 약점을 식별하는 강력한 진단 도구로도 기능한다는 점을 입증함.