[논문 리뷰] Learning Policies for Adaptive Tracking with Deep Feature Cascades

Chen Huang, Simon Lucey외 1명|arXiv (Cornell University)|2017. 08. 09.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 47

한 줄 요약

이 논문은 추론 중에 특징 레이어 처리를 언제 멈출지를 결정하기 위해 강화학습을 사용하는 적응형 딥 트래킹 프레임워크인 EAST(EArly-Stopping Tracker)를 제안한다. 쉽게 처리 가능한 프레임에서는 비용이 많이 드는 딥 특징을 건너뛰어, CPU에서 23.2 fps의 거의 실시간 속도로 최신 기술 수준의 정확도를 달성한다. 50%의 프레임에서 추론 비용을 최대 100배까지 줄이며, OTB 및 VOT 벤치마크에서 높은 성능을 유지한다.

ABSTRACT

Visual object tracking is a fundamental and time-critical vision task. Recent years have seen many shallow tracking methods based on real-time pixel-based correlation filters, as well as deep methods that have top performance but need a high-end GPU. In this paper, we learn to improve the speed of deep trackers without losing accuracy. Our fundamental insight is to take an adaptive approach, where easy frames are processed with cheap features (such as pixel values), while challenging frames are processed with invariant but expensive deep features. We formulate the adaptive tracking problem as a decision-making process, and learn an agent to decide whether to locate objects with high confidence on an early layer, or continue processing subsequent layers of a network. This significantly reduces the feed-forward cost for easy frames with distinct or slow-moving objects. We train the agent offline in a reinforcement learning fashion, and further demonstrate that learning all deep layers (so as to provide good features for adaptive tracking) can lead to near real-time average tracking speed of 23 fps on a single CPU while achieving state-of-the-art performance. Perhaps most tellingly, our approach provides a 100X speedup for almost 50% of the time, indicating the power of an adaptive approach.

연구 동기 및 목표

• 자원이 제한된 장치에서 딥 시각적 객체 트래킹의 정확도와 속도 간의 상충 관계를 해결하기 위해.
• 쉬운 프레임이 더 적은 특징을 필요로 하므로, 각 프레임의 복잡도에 따라 계산 비용을 줄이기 위해 딥 트래커의 계산 비용을 최소화하기 위해.
• 어느 시점에서 네트워크의 더 얕은 레이어에서 정지를 선택할지 결정하는 적응형 의사결정 정책을 학습하기 위해.
• 특히 CPU에서 성능을 희생시키지 않고도 추론 속도를 크게 향상시키면서도 높은 정확도를 유지하기 위해.
• 통합 시스템에서 실시간 트래킹을 가능하게 하기 위해, 지능적인 조기 정지를 통해 피드포워드 비용을 최소화하기 위해.

제안 방법

• 객체 정위치를 위한 최적의 특징 레이어를 선택하기 위해 강화학습을 활용한 순차적 의사결정 프로세스로 적응형 트래킹을 수식화한다.
• 다양한 레이어를 포함한 딥 특징 캐스케이드를 구성하며, 이는 원시 픽셀 값으로 구성된 '제로스' 레이어를 포함하여 조기 정지를 가능하게 한다.
• 응답 맵의 신뢰도에 기반해 현재 레이어에서 예측을 출력할지 다음 레이어로 진행할지 결정하기 위해 오프라인으로 강화학습을 통해 에이전트를 훈련시킨다.
• 조기 레이어에서 응답 맵을 효율적으로 계산하기 위해 푸리에 처리를 활용한 빠른 상관 필터를 사용하여 추론 속도를 가속화한다.
• 각 레이어가 추적 정확도와 조기 정지 유용성 양면에서 최적화되도록 엔드 투 엔드 훈련을 수행하며, 딥 서프비전과 유사한 방식이다.
• 학습된 정책을 테스트 시점에 적용하여 불필요한 전방 전파를 건너뛰어 쉬운 프레임에서 계산 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 객체 트래킹 중에 딥 네트워크의 특징 처리를 언제 멈출지를 적절한 시점에 결정할 수 있는가?
• RQ2 학습된 정책에 기반한 적응형 조기 정지는 정확도를 훼손하지 않으면서도 상당한 속도 향상을 이끌 수 있는가?
• RQ3 이 방법은 표준 벤치마크에서 최신 기술 수준의 정확도를 유지하면서도 CPU에서 거의 실시간 성능을 달성할 수 있는가?
• RQ4 속도-정확도 상충 관계 측면에서, 이 적응형 트래커는 고정 깊이의 딥 트래커와 얕은 상관 필터 방법에 비해 어떻게 성능을 냈는가?
• RQ5 쉬운 프레임은 조기 정지에서 얼마나 많은 이점을 얻을 수 있으며, 정책은 다양한 트래킹 시나리오에 일반화될 수 있는가?

주요 결과

• EAST는 단일 CPU에서 평균 23.2 fps의 속도를 기록하여 거의 실시간이 되며, 대부분의 딥 트래커보다 훨씬 빠르다.
• 약 50%의 프레임에서 100배의 속도 향상을 제공하여, 쉬운 프레임에 대한 적응형 처리의 효과를 입증한다.
• OTB-100 벤치마크에서 EAST는 AUC 점수 0.629를 기록하여 최신 기술 수준에 가깝고, 최고 성능 트래커 중에서 가장 빠른 속도를 기록했다.
• VOT-15 벤치마크에서 EAST는 CPU에서 21 fps, GPU에서 148 fps를 기록하여 MDNet보다 속도에서 148배 빠르면서도 유사한 정확도를 유지했다.
• VOT-14 대회에서 EAST는 정확도와 속도를 균형 있게 조율하여 38개의 다른 트래커를 모두 압도하며 최고의 종합 순위를 기록했다.
• 강화학습을 통해 학습된 적응 정책은 히وري스틱 임계값 설정보다 더 견고하며, 고정된 레이어 선택 메커니즘을 능가하는 성능을 보였다.