[논문 리뷰] Learning Dynamic Memory Networks for Object Tracking

Tianyu Yang, Antoni B. Chan|arXiv (Cornell University)|2018. 03. 20.

Video Surveillance and Tracking Methods인용 수 28

한 줄 요약

이 논문은 LSTM 제어 외부 메모리 블록을 갖는 동적 메모리 네트워크를 사용하여 외관 변화에 적응적으로 템플릿을 업데이트하는 실시간 시각적 객체 추적기인 MemTrack을 제안한다. 주의 기반 메모리 액세스와 채널별 게이팅 잔여 학습을 활용하여 OTB 및 VOT 벤치마크에서 최신 기술 수준의 정확도를 달성하면서도 50 fps의 추론 속도를 유지하며, 실시간 및 비실시간 추적기 모두를 능가한다.

ABSTRACT

Template-matching methods for visual tracking have gained popularity recently due to their comparable performance and fast speed. However, they lack effective ways to adapt to changes in the target object's appearance, making their tracking accuracy still far from state-of-the-art. In this paper, we propose a dynamic memory network to adapt the template to the target's appearance variations during tracking. An LSTM is used as a memory controller, where the input is the search feature map and the outputs are the control signals for the reading and writing process of the memory block. As the location of the target is at first unknown in the search feature map, an attention mechanism is applied to concentrate the LSTM input on the potential target. To prevent aggressive model adaptivity, we apply gated residual template learning to control the amount of retrieved memory that is used to combine with the initial template. Unlike tracking-by-detection methods where the object's information is maintained by the weight parameters of neural networks, which requires expensive online fine-tuning to be adaptable, our tracker runs completely feed-forward and adapts to the target's appearance changes by updating the external memory. Moreover, unlike other tracking methods where the model capacity is fixed after offline training --- the capacity of our tracker can be easily enlarged as the memory requirements of a task increase, which is favorable for memorizing long-term object information. Extensive experiments on OTB and VOT demonstrates that our tracker MemTrack performs favorably against state-of-the-art tracking methods while retaining real-time speed of 50 fps.

연구 동기 및 목표

• 추적 중 객체 외관 변화에 적응하지 못하는 템플릿 매칭 추적기의 한계를 해결하기 위해.
• 외부 동적 메모리 블록에 외관 정보를 저장하여 온라인 미세조정이 필요 없도록 하기 위해.
• 메모리 크기를 늘림으로써 모델 용량을 확장하고 장기적 외관 모델링을 지원하기 위해.
• 실시간 성능을 희생시키지 않은 채 기준 템플릿 방법(SiamFC 등)보다 추적 정확도를 향상시키기 위해.
• 초기 템플릿 신뢰성과 적응형 메모리 검색을 결합한 미분 가능하고 엔드 투 엔드로 훈련 가능한 프레임워크를 개발하기 위해.

제안 방법

• 외부 주소 지정 가능한 메모리 블록이 대상의 이력 외관 특징을 저장하여 외관 변화의 장기적 기억을 가능하게 한다.
• LSTM 제어기에서 검색 특징 맵을 입력으로 사용하며, 메모리 액세스 이전에 잠재적 대상 영역에 집중하기 위해 주의 메커니즘을 사용한다.
• LSTM은 메모리 블록에서 읽기 및 쓰기 위한 제어 신호를 생성하여 동적 템플릿 적응을 가능하게 한다.
• 게이팅 잔여 템플릿 학습 메커니즘은 초깃템플릿과 검색된 메모리 기반 잔여 템플릿을 결합하며, 채널별 게이팅이 메모리의 기여도를 조절한다.
• 최종 매칭 템플릿은 초깃템플릿와 게이팅 잔여항목의 원소별 덧셈으로 형성되며, 보수적인 외관 정보를 유지한다.
• 전체 네트워크는 미분 가능하며 SGD로 엔드 투 엔드로 훈련되어 온라인 파rameter 업데이트 없이 실시간 추론이 가능하다.

실험 결과

연구 질문

• RQ1 온라인 미세조정 없이도 동적 메모리 네트워크가 외관 변화에 적응적으로 추적 템플릿을 업데이트하는 데 효과적인가?
• RQ2 정답 대상 위치가 없는 상황에서 주의 기반 메모리 액세스는 어떻게 템플릿 매칭을 향상시키는가?
• RQ3 게이팅 잔여 학습은 최근 프레임에 과적합되는 것을 어느 정도 방지하면서도 적응형 템플릿 업데이트를 가능하게 하는가?
• RQ4 메모리 용량을 확장하여 모델 복잡도를 증가시키지 않고도 장기적 추적 성능을 향상시킬 수 있는가?
• RQ5 최신 기술 수준의 실시간 및 비실시간 추적기와 비교해 본다면, 제안된 방법은 정확도와 속도 측면에서 어떤가?

주요 결과

• OTB-2015 벤치마크에서 MemTrack는 SiamFC보다 정밀도 6.4% 향상되고 성공률 7.6% 향상되었다.
• VOT-2016 데이터셋에서 MemTrack는 최신 기술 수준의 EAO 기준(0.251)을 초월하여 EAO 0.2729를 기록했으며, 실시간 추적기 중 1위를 차지했다.
• AUC 점수에서 비실시간 최신 기술 수준의 추적기인 CREST, MCPF, SRDCFdecon을 능가했으며, 50 fps로 실행된 반면 약 1 fps로 실행된 점을 고려하면 성능이 뛰어나다.
• 저해상도, 가림, 체적 변화와 같은 도전적인 속성에 대해 MemTrack는 가장 높은 AUC 점수를 기록했으며, 저해상도 시퀀스에서 SiamFC 대비 10.7% 향상된 성능을 보였다.
• OTB-2015의 모든 8개의 속성(일조 변화, 운동 블러, 평면 내/외 회전 등)에서 견고한 성능을 유지했다.
• 제거 실험에서 주의, 게이팅 잔여 학습, 메모리 제어의 조합이 제거된 변종 대비 추적 정확도를 크게 향상시켰다.