[논문 리뷰] Small Object Detection for Near Real-Time Egocentric Perception in a Manual Assembly Scenario

Hooman Tavakoli, Snehal Walunj외 3명|arXiv (Cornell University)|2021. 06. 11.

Industrial Vision Systems and Defect Detection참고 문헌 17인용 수 6

한 줄 요약

이 논문은 CAD로 생성된 합성 데이터와 맥락 인식을 활용하여 near real-time 이조점 인식을 위한 이단계 소형 객체 검출 파이프라인을 제안한다. 먼저 맥락(예: 브레드보드)을 검출한 후에 작은 단추를 자르고 재검출함으로써, IoU=0.10에서 70% mAP를 달성하여 단일 단계 검출보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

Detecting small objects in video streams of head-worn augmented reality devices in near real-time is a huge challenge: training data is typically scarce, the input video stream can be of limited quality, and small objects are notoriously hard to detect. In industrial scenarios, however, it is often possible to leverage contextual knowledge for the detection of small objects. Furthermore, CAD data of objects are typically available and can be used to generate synthetic training data. We describe a near real-time small object detection pipeline for egocentric perception in a manual assembly scenario: We generate a training data set based on CAD data and realistic backgrounds in Unity. We then train a YOLOv4 model for a two-stage detection process: First, the context is recognized, then the small object of interest is detected. We evaluate our pipeline on the augmented reality device Microsoft Hololens 2.

연구 동기 및 목표

• 헤드셋에 장착된 AR 기기에서 저해상도 이조점 비디오 스트림에서 소형 객체를 검출하는 데 도전하는 것.
• 소형 객체에 대한 실제 데이터가 제한되어 있음을 고려해 CAD 모델에서 고품질의 합성 데이터를 생성함으로써 이를 극복하는 것.
• 객체의 맥락(예: 브레드보드)을 먼저 검출하고, 그 다음에 소형 객체(예: 단추)에 집중함으로써 검출 정확도를 향상시키는 맥락 지식을 활용하는 것.
• Microsoft 헬로렌즈 2에 배포하기 위해 엣지 디바이스에서 near real-time 추론(9.4 fps)을 달성하는 것.
• 계층적 검출의 효과성을 평가하여 가짜 검출 수를 줄이고 소형 객체에 대한 mAP를 향상시키는 것.

제안 방법

• 소형 객체(예: 단추)의 CAD 모델을 여러 시점에서 렌더링하고 다양한 조명 및 배경 조건에서 렌더링함으로써 유니티 3D를 사용해 합성 훈련 데이터를 생성했다.
• 일반화 성능 향상을 위해 합성 객체 렌더링를 실제 배경 이미지와 결합한 도메인 랜덤라이제이션을 적용했다.
• 이단계 YOLOv4 검출 파이프라인을 구현했다: 먼저 맥락(브레드보드)을 검출하고, 그 다음에 자르고 재검출한다.
• 첫 번째 단계 모델은 브레드보드를 검출하고, 두 번째 단계 모델은 자른 영역에서 고해상도 및 맥락 인식 특징을 활용해 작은 단추를 검출한다.
• 훈련은 YOLOv4.conv.137에서 전이 학습을 수행했으며, 데이터 증강(회전, 시어)을 적용하고 실제 데이터 실험에 대해 2000 에포크 동안 훈련했다.
• 엣지 추론은 RTX 2080를 장착한 랩탑에서 수행되었으며, 헬로렌즈 2 카메라 스트림을 실시간으로 처리했다.

실험 결과

연구 질문

• RQ1 CAD 모델에서 유래한 합성 데이터 생성이 이조점 AR 시나리오에서 소형 객체 검출 성능을 뚜렷이 향상시키는가?
• RQ2 먼저 맥락을 검출하고 나서 소형 객체에 집중하는 이단계 검출 파이프라인은 단일 단계 검출 대비 mAP를 향상시키는가?
• RQ3 맥락 인식이 다양한 조명 조건과 가림 현상이 있는 실제 테스트 데이터에서 가짜 검출을 줄이고 일반화 성능을 향상시키는가?
• RQ4 이단계 파이프라인이 헬로렌즈 2 입력을 위한 엣지 디바이스에서 near real-time 배포에 충분히 효율적인가?
• RQ5 실제 배경을 활용한 도메인 랜덤라이제이션은 합성 훈련 데이터의 일반화 성능을 얼마나 향상시키는가?

주요 결과

• 실제 이미지만으로 훈련된 단일 단계 모델은 IoU=0.10에서 단지 2.6% mAP를 기록하여 훈련 데이터가 제한되어 있어 일반화 성능이 열악함을 보여주었다.
• 더 큰 합성 데이터셋(3,800장)으로 훈련하면 단추 검출에 대해 IoU=0.10에서 mAP가 44%로 향상되었으며, 이는 합성 데이터의 유용성을 보여주었다.
• 이단계 파이프라인이 단추 검출에 대해 IoU=0.10에서 70% mAP를 달성하여 단일 단계 접근보다 뚜렷이 향상된 성능을 보였다.
• 이단계 방법은 맥락을 활용함으로써 가짜 검출을 줄였으며, 전체 이미지 검출 대비 자른 영역에서의 mAP가 더 높다는 점에서 이를 뒷받침했다.
• 파이프라인이 엣지 디바이스에서 9.4 fps를 기록하여 산업용 AR 응용 분야에서 near real-time 성능 기준을 충족시켰다.
• CAD 기반 합성 데이터, 도메인 랜덤라이제이션, 계층적 검출의 조합은 이조점 환경에서의 강력한 소형 객체 검출에 필수적이었다.