[논문 리뷰] UCT: Learning Unified Convolutional Networks for Real-time Visual Tracking

Zheng Zhu, Guan Huang외 3명|arXiv (Cornell University)|2017. 11. 10.

Video Surveillance and Tracking Methods인용 수 12

한 줄 요약

이 논문은 종합적인 컨볼루션 네트워크(UCT)를 제안하며, 완전 컨볼루션 아키텍처를 통해 특징 추출과 추적을 함께 학습하는 엔드 투 엔드, 실시간 시각 추적 프레임워크이다. 특징 추출과 추적을 모두 합쳐진 컨볼루션 연산으로 간주하고 함께 훈련함으로써, UCT는 OTB2015와 VOT2015에서 최신 기술 수준의 정확도를 달성하면서도 표준 UCT의 경우 41 FPS, UCT-Lite의 경우 154 FPS의 실시간 속도를 유지를 한다.

ABSTRACT

Convolutional neural networks (CNN) based tracking approaches have shown favorable performance in recent benchmarks. Nonetheless, the chosen CNN features are always pre-trained in different task and individual components in tracking systems are learned separately, thus the achieved tracking performance may be suboptimal. Besides, most of these trackers are not designed towards real-time applications because of their time-consuming feature extraction and complex optimization details.In this paper, we propose an end-to-end framework to learn the convolutional features and perform the tracking process simultaneously, namely, a unified convolutional tracker (UCT). Specifically, The UCT treats feature extractor and tracking process both as convolution operation and trains them jointly, enabling learned CNN features are tightly coupled to tracking process. In online tracking, an efficient updating method is proposed by introducing peak-versus-noise ratio (PNR) criterion, and scale changes are handled efficiently by incorporating a scale branch into network. The proposed approach results in superior tracking performance, while maintaining real-time speed. The standard UCT and UCT-Lite can track generic objects at 41 FPS and 154 FPS without further optimization, respectively. Experiments are performed on four challenging benchmark tracking datasets: OTB2013, OTB2015, VOT2014 and VOT2015, and our method achieves state-of-the-art results on these benchmarks compared with other real-time trackers.

연구 동기 및 목표

• 사전 훈련된 특징을 사용하고 구성 요소를 별도로 훈련하는 기존의 CNN 기반 추적기의 열악한 성능을 해결하기 위해.
• 시간 소모적인 특징 추출과 복잡한 최적화를 제거함으로써 딥 추적기의 비효율성을 해결하기 위해.
• 특징 학습과 추적을 하나의 엔드 투 엔드 프레임워크로 통합함으로써 고정밀도의 실시간 시각 추적을 가능하게 하기 위해.
• 속도를 유지하면서도 강건성을 해치지 않는 효율적인 온라인 모델 업데이트 및 스케일 처리를 도입하기 위해.
• 대부분의 이전 딥 추적기들과 달리 실시간으로 작동하면서도 표준 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 특징 추출기와 추적 프로세스를 모두 통합된 완전 컨볼루션 네트워크 아키텍처 내의 컨볼루션 연산으로 간주하기.
• 전체 네트워크를 엔드 투 엔드로 훈련함으로써, 공동 최적화를 통해 CNN 특징가 추적 작업에 밀접하게 결합되도록 하기.
• 추론 중에 효율적인 온라인 모델 업데이트를 위해 피크 대 노이즈 비율(PNR) 기준을 도입하기.
• 추가적인 계산이나 외부 모듈 없이도 스케일 변화를 처리하기 위해 네트워크에 스케일 브랜치를 통합하기.
• 일회성 순방향 전파를 사용하여 전체 응답 맵을 예측함으로써 빠른 추론과 실시간 성능를 달성하기.
• 속도-정확도 트레이드오���을 위해 표준 UCT(ResNet-101 백본)와 UCT-Lite(ZF-Net 백본) 두 가지 변종을 설계하기.

실험 결과

연구 질문

• RQ1 특징 추출기와 추적기를 별도로 훈련하는 것보다 종합적인 컨볼루션 네트워크의 엔드 투 엔드 훈련이 추적 정확도를 향상시키는가?
• RQ2 종합 네트워크 아키텍처가 최신 기술 수준의 성능를 달성하면서도 실시간 추론 속도를 유지할 수 있는가?
• RQ3 PNR 기반의 온라인 업데이트 전략은 장기 추적 중에 추적기의 강건성을 유지하는 데 얼마나 효과적인가?
• RQ4 네트워크에 통합된 스케일 브랜치는 속도나 정확도를 떨어뜨리지 않고 스케일 변화를 효과적으로 처리할 수 있는가?
• RQ5 종합 훈련 파рад림이 추적 작업에 특화된 더 나은 특징 표현을 이끌어내는가?

주요 결과

• UCT는 OTB2015에서 성공 점수 0.611을 기록하여 SiamFC(0.582)와 Staple(0.581)를 상당한 격차로 앞서며 뛰어난 성능을 보였다.
• VOT2014에서 UCT는 정밀도와 강건성 측면에서 정확한 초기화 조건 하에 두 번째로 높은 순위를 기록했으며, GOTURN, SiamFC, Staple과 같은 세 개의 실시간 추적기보다 강건성에서 뛰어난 성능을 보였다.
• VOT2015에서 UCT는 EAO 점수 0.445를 기록하여 전체 순위에서 일곱 번째로 높았고, 유일하게 실시간으로 작동하는(속도 > 5 FPS) 상위 성능 추적기였다.
• 표준 UCT는 최적화 없이도 일반 객체에서 41 FPS로 작동하고, UCT-Lite는 154 FPS로 작동하여 강력한 실시간 성능를 입증했다.
• UCT는 OTB2015에서의 상세 분석를 통해 일조 변화, 가림, 스케일 변화와 같은 어려운 속성들을 효과적으로 처리하는 것으로 확인되었다.
• 제거 분석를 통해 엔드 투 엔드 훈련과 PNR 기반 업데이트 전략이 추적 성능와 안정성에 상당한 기여를 한다는 것이 확인되었다.