[논문 리뷰] Fast and Resource-Efficient Object Tracking on Edge Devices: A Measurement Study

Sanjana Vijay Ganesh, Yanzhao Wu외 3명|arXiv (Cornell University)|2023. 09. 06.

IoT and Edge/Fog ComputingComputer Science인용 수 3

한 줄 요약

이 논문은 실시간으로 자원 효율적인 다중 객체 추적을 엣지 디바이스에서 수행하기 위해 맥락 인식형, 적응형 프레임 스킵 프레임워크인 EMO를 제안한다. 운동 예측 가능성과 시각적 유사성에 기반해 동적으로 프레임을 스킵하고 칼만 필터를 사용해 위치 추정을 수행함으로써, EMO는 계산량을 33–50% 감소시키면서도 기준 추적 정확도에 근접한 성능(하타 손실 <0.5%)을 유지한다.

ABSTRACT

Object tracking is an important functionality of edge video analytic systems and services. Multi-object tracking (MOT) detects the moving objects and tracks their locations frame by frame as real scenes are being captured into a video. However, it is well known that real time object tracking on the edge poses critical technical challenges, especially with edge devices of heterogeneous computing resources. This paper examines the performance issues and edge-specific optimization opportunities for object tracking. We will show that even the well trained and optimized MOT model may still suffer from random frame dropping problems when edge devices have insufficient computation resources. We present several edge specific performance optimization strategies, collectively coined as EMO, to speed up the real time object tracking, ranging from window-based optimization to similarity based optimization. Extensive experiments on popular MOT benchmarks demonstrate that our EMO approach is competitive with respect to the representative methods for on-device object tracking techniques in terms of run-time performance and tracking accuracy. EMO is released on Github at https://github.com/git-disl/EMO.

연구 동기 및 목표

• 변동하는 프레임 레이트를 가진 자원 제약이 있는 엣지 디바이스에서 실시간 다중 객체 추적(MOT)을 해결한다.
• 고정 간격의 프레임 스킵 기법의 한계를 특정화한다. 예를 들어 자원 부족 상황에서 성능의 일관성 없음과 프레임 손실 문제이다.
• 운동과 시각적 유사성에 따라 적응하는 동적이고 맥락 인식형 프레임 스킵 전략을 제안하여 자원 사용을 최적화한다.
• 엣지 하드웨어에서 계산 비용을 최소화하면서도 높은 추적 정확도(예: HOTA)를 유지한다.
• 클라우드 기반 처리에 대한 의존도를 줄여 스케일러블하고 프라이버시를 보장하는 엣지 비디오 분석을 가능하게 한다.

제안 방법

• 정규화 상호상관관계(NCC)를 사용해 프레임 유사성을 평가하고, 물체 궤적 분석을 통해 운동 예측 가능성을 평가하는 맥락 인식형 스킵 메커니즘을 도입한다.
• 스킵된 프레임에서 객체 위치를 추정하기 위해 칼만 필터를 사용하여 이전 검출 결과를 단순 재사용하는 것보다 정위치 추정 정확도를 향상시킨다.
• 시각적 유사성과 운동 안정성에 기반해 프레임 스킵 여부를 평가하는 의사결정 모듈을 설계하여 안전한 범위에서 검출 빈도를 낮춘다.
• YOLOv3 및 Faster R-CNN 등의 기존 검출 기반 추적 파ip라인과 EMO 프레임워크를 통합한다.
• 결정 및 추정 오버헤드를 최소화하여 런타임을 최적화하며, MOT-17 및 MOT-15에서 의사결정 시간은 검출 시간의 1/9에서 1/20 수준이다.
• 다양한 프레임 레이트와 운동 조건에서 MOTChallenge 벤치마크(MOT-15, MOT-17)를 대상으로 접근 방식을 평가한다.

실험 결과

연구 질문

• RQ1 고정 간격의 프레임 스킵은 자원 제약이 있는 엣지 디바이스에서 다중 객체 추적 정확도와 성능에 어떤 영향을 미치는가?
• RQ2 시각적 유사성과 운동 예측 가능성에 기반한 적응형 프레임 스킵이 추적 품질을 떨어뜨리지 않으면서 얼마나 많은 계산 비용을 절감할 수 있는가?
• RQ3 스킵된 프레임에서 위치 추정을 위해 칼만 필터를 사용하는 것과 이전 검출 결과를 단순 재사용하는 것 간의 정위치 추정 정확도는 어떻게 비교되는가?
• RQ4 다양한 운동 역학을 가진 다양한 비디오 시퀀스에서, 프레임 스킵 비율과 추적 성능 사이의 최적 균형은 무엇인가?
• RQ5 실제 엣지 배포 환경에서 EMO 프레임워크는 스킵 없음 기준 및 히우리스틱 기반 스킵 전략과 비교해 어떻게 성능을 내는가?

주요 결과

• EMO 프레임워크는 스킵 없음 기준 대비 MOT-15에서는 총 계산 시간을 33% 감소시키며, MOT-17에서는 50% 감소시켰다. 각각 38%와 60%의 프레임 스킵 비율을 달성했다.
• 제안된 맥락 인식형 스킵 기법은 운동이 안정적이고 시각적 유사성이 높을 경우 고프레임레인지 비디오(예: 25 FPS)에서 최대 60%의 프레임을 스킵할 수 있다.
• 스킵된 프레임에서 위치 추정을 위해 칼만 필터를 사용함으로써, 특히 저운동 조건에서 이전 검출 결과를 재사용하는 것보다 정위치 추정 정확도가 향상된다.
• NCC와 운동 예측 가능성에 기반한 프레임 스킵 의사결정은 HOTA 점수에 단지 0.5%의 하락만을 초래하여 정확도 손실가 최소화됨을 보여준다.
• 프레임 결정 시간의 평균은 검출 시간의 1/9에서 1/20 수준이며, 실질적으로 오버헤드가 무시할 수 있을 정도로 낮다.
• EMO 프레임워크는 자원 소비를 크게 줄이면서도 경쟁 가능한 추적 정확도를 유지하여 자원 제약이 있는 엣지 디바이스에 배포하기에 적합하다.