[논문 리뷰] MAVOT: Memory-Augmented Video Object Tracking

Boyu Liu, Yanzhao Wang외 2명|arXiv (Cornell University)|2017. 11. 26.

Video Surveillance and Tracking Methods참고 문헌 15인용 수 8

한 줄 요약

MAVOT는 외부 메모리 모듈을 사용하여 전경 객체와 배경의 장기적 특징을 저장하고 업데이트하는 일회성, 메모리 증강 영상 객체 추적 프레임워크를 제안한다. 백프로파게이션 없이 이 메모리를 검색하고 업데이트함으로써 MAVOT는 가림, 운동 변화, 큰 외관 변화 상황에서도 강력한 추적 성능을 달성하며, VOT-2016 벤치마크에서 가림에 대한 강건성에서 2위, 운동 변화 정확도에서 1위를 기록했다.

ABSTRACT

We introduce a one-shot learning approach for video object tracking. The proposed algorithm requires seeing the object to be tracked only once, and employs an external memory to store and remember the evolving features of the foreground object as well as backgrounds over time during tracking. With the relevant memory retrieved and updated in each tracking, our tracking model is capable of maintaining long-term memory of the object, and thus can naturally deal with hard tracking scenarios including partial and total occlusion, motion changes and large scale and shape variations. In our experiments we use the ImageNet ILSVRC2015 video detection dataset to train and use the VOT-2016 benchmark to test and compare our Memory-Augmented Video Object Tracking (MAVOT) model. From the results, we conclude that given its oneshot property and simplicity in design, MAVOT is an attractive approach in visual tracking because it shows good performance on VOT-2016 benchmark and is among the top 5 performers in accuracy and robustness in occlusion, motion changes and empty target.

연구 동기 및 목표

• 온라인 학습의 한계를 해결하기 위해, 제한된 학습 데이터, 백프로파게이션을 통한 느린 적응, 장기적 기억 부족 등의 문제를 해결한다.
• 최근의 방해 요소(부분적 또는 완전한 가림 등)로 인한 오차 누적과 혼동을 방지하기 위해 객체 및 배경 특징의 지속적 기억을 유지한다.
• 카테고리별 사전학습이나 광범위한 미세조정이 필요 없이 일반 객체 추적을 위한 일회성 학습을 가능하게 한다.
• 크기 및 형태 변화, 조명 변화, 카메라 운동 등의 어려운 상황에서 전경과 배경의 맥락을 모델링하여 추적 성능을 향상시킨다.

제안 방법

• 딥 컨volution 신경망(CNN)과 외부 메모리 모듈을 통합하여 시간이 지남에 따라 변화하는 대상 객체 및 배경의 특징을 저장한다.
• 저장된 특징과의 유사도를 기반으로 후보 영역을 평가하기 위해 메모리 검색을 사용하여 맥락 인식 추적 결정을 가능하게 한다.
• 현재 프레임의 예측된 객체 영역에서 추출한 특징을 사용해 메모리 모듈을 점진적으로 업데이트함으로써 외관 변화에 적응하도록 한다.
• 완전 컨volution 연산을 활용해 빠른 추론을 구현하고, 온라인 백프로파게이션을 피함으로써 실시간 성능을 달성한다.
• ImageNet ILSVRC2015 영상 데이터셋에서의 사전학습을 활용해 다양한 객체 카테고리에 대해 클래스 무관 추적을 가능하게 한다.
• 전경과 배경을 별도로 처리하는 메모리 임bedding을 유지하여 복잡한 환경에서의 분류 능력과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 백프로파게이션 없이도 온라인 학습 없이 메모리 증강 딥 러닝 프레임워크가 강건한 일회성 영상 객체 추적을 달성할 수 있는가?
• RQ2 외부 메모리 모듈이 도전적인 시각 조건에서도 장기적 객체 및 배경 표현을 유지하는 데 얼마나 효과적인가?
• RQ3 단일 영역 추적기가 온라인 학습 추적기의 최신 기술 수준을 가림 및 운동 변화 상황에서 뛰어나게 초월할 수 있는가?
• RQ4 메모리에 전경뿐 아니라 배경까지 모델링할 경우 전경 전용 접근 방식에 비해 추적 정확도와 강건성이 향상되는가?
• RQ5 온라인 미세조정 없이도 단순한 엔드 투 엔드 학습 가능한 아키텍처가 VOT-2016과 같은 표준 벤치마크에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• MAVOT는 VOT-2016 벤치마크에서 가림에 대한 강건성에서 2위, 운동 변화 탐지 정확도에서 1위를 기록하여 어려운 추적 상황에서 강력한 내구성을 입증했다.
• 운동 변화 및 대상이 없는 경우 정확도에서 1위를 기록하여 동적이고 모호한 조건에서도 높은 신뢰성을 보였다.
• 온라인 백프로파게이션 없이도 일회성 추적기임에도 불구하고 단일 NVIDIA GTX 1060 GPU에서 5fps의 추론 속도를 달성하여 실시간 적용 가능성을 입증했다.
• 장시간 시퀀스에서도 일관된 성능을 유지했으며, 'road'(558 프레임) 및 'girl'(1500 프레임) 시퀀스에서 완전한 가림 이후에도 성공적으로 추적을 재개했다.
• 저조도 조건과 배경 유사도가 높은 'fish4'와 같은 복잡한 케이스에서 다른 최신 기술 추적기들을 능가하는 정확도를 기록했다.
• VOT-2016 대회에서 총 71명의 참가자 중 16위를 기록했으며, 이는 단순한 아키텍처와 일회성 학습 설계를 고려할 때 매우 우수한 성과이다.