[논문 리뷰] Heatmap-based Object Detection and Tracking with a Fully Convolutional Neural Network

Fabian Amherd, E. Rodríguez|arXiv (Cornell University)|2021. 01. 10.

Advanced Memory and Neural Computing참고 문헌 10인용 수 4

한 줄 요약

이 논문은 다중 프레임 시간 입력을 사용하여 빠르게 움직이는 물체의 열지도 기반 객체 검출 및 추적을 위한 완전 컨volution 신경망인 CueNet을 제안한다. CueNet V2는 3개의 연속된 240×180픽셀 이미지를 활용하여 공간적 확률 열지도를 생성함으로써 영상 프레임 간 쿠볼의 위치를 99.8%의 정확도로 정확히 특정하며, 혼잡한 환경에서도 매우 높은 신뢰성을 보여주어 CueNet V1(99.6%)보다 성능이 뛰어나다.

ABSTRACT

The main topic of this paper is a brief overview of the field of Artificial Intelligence. The core of this paper is a practical implementation of an algorithm for object detection and tracking. The ability to detect and track fast-moving objects is crucial for various applications of Artificial Intelligence like autonomous driving, ball tracking in sports, robotics or object counting. As part of this paper the Fully Convolutional Neural Network "CueNet" was developed. It detects and tracks the cueball on a labyrinth game robustly and reliably. While CueNet V1 has a single input image, the approach with CueNet V2 was to take three consecutive 240 x 180-pixel images as an input and transform them into a probability heatmap for the cueball's location. The network was tested with a separate video that contained all sorts of distractions to test its robustness. When confronted with our testing data, CueNet V1 predicted the correct cueball location in 99.6% of all frames, while CueNet V2 had 99.8% accuracy.

연구 동기 및 목표

• 딥 러닝을 활용하여 빠르게 움직이는 물체를 탐지하고 추적할 수 있는 견고하고 실시간 시스템을 개발하는 것.
• 다중 프레임 입력를 통해 시간적 맥락을 통합하여 탐지 정확도를 향상시키는 것.
• 혼잡한 시각 조건과 시각적 방해 요소가 있는 상황에서의 성능을 평가하는 것.
• 에지 디바이스에 배포 가능한 경량의 완전 컨볼루션 아키텍처를 기여하는 것.

제안 방법

• 객체 위치를 예측하는 2차원 열지도를 회귀하는 완전 컨볼루션 신경망(CueNet)을 설계하는 것.
• CueNet V2의 입력으로서 3개의 연속된 240×180픽셀 프레임을 사용하여 운동 및 시간적 동적 특성을 포착하는 것.
• 예측된 열지도와 진짜 값 열지도 간 L2 거리의 최소화를 위해 픽셀 단위의 회귀 손실 함수를 사용하여 네트워크를 훈련하는 것.
• 일반화 및 시각적 방해 요소에 대한 강인성을 향상시키기 위해 데이터 증강 및 정규화를 적용하는 것.
• 저전력 하드웨어에서 실시간 추론을 가능하게 하기 위해 단일 단계 추론 파이프라인을 사용하는 것.
• 최소한의 파라미터와 추론 지연을 갖춘 네트워크 아키텍처를 최적화하여 임베디드 배포에 적합하게 만드는 것.

실험 결과

연구 질문

• RQ1 완전 컨볼루션 신경망이 열지도 회귀만을 사용하여 고정확도의 객체 검출 및 추적을 달성할 수 있는가?
• RQ2 다중 프레임 시간 입력을 통합할 경우 혼잡한 장면에서 탐지의 강인성이 크게 향상되는가?
• RQ3 시각적 방해 요소와 다양한 조명 조건 하에서 모델의 성능은 어떠한가?
• RQ4 단일 프레임 입력 대비 3프레임 입력을 사용했을 때 객체 추적에서 정확도 향상은 어느 정도인가?
• RQ5 경량의 완전 컨볼루션 아키텍처가 실제 세계 객체 추적 벤치마크에서 거의 완벽한 정확도를 달성할 수 있는가?

주요 결과

• CueNet V1은 단일 입력 이미지를 사용하여 모든 테스트 프레임에서 쿠볼 위치를 99.6%의 정확도로 탐지하였다.
• CueNet V2는 3개의 연속된 240×180픽셀 프레임을 입력으로 활용함으로써 성능을 향상시켜 99.8%의 정확도를 달성하였다.
• 다중 프레임 입력은 테스트 영상에서 시각적 방해 요소와 운동의 변동성에 대한 강인성을 크게 향상시켰다.
• 완전 컨볼루션 아키텍처는 에지 배포에 적합한 효율적이고 실시간 추론을 가능하게 하였다.
• 복잡한 배경 혼잡도와 동적인 조명 조건에도 불구하고 높은 일반화 능력을 보였다.
• 소스 코드는 논문의 두 번째 장에 포함된 QR 코드를 통해 공개되어 재현성과 향후 연구를 위해 제공된다.