[논문 리뷰] An In-Depth Analysis of Visual Tracking with Siamese Neural Networks

Roman Pflugfelder|arXiv (Cornell University)|2017. 07. 03.

Video Surveillance and Tracking Methods참고 문헌 110인용 수 12

한 줄 요약

이 논문은 시마제이즈 신경망의 시각 추적에서 종합적인 분석을 제공하며, 표준화된 추적기 비교를 위한 린스 유사 형식을 제안하고 현재 평가 관행의 한계를 부각한다. 이는 시마제이즈 추적기의 핵심 설계 요소—특징 학습, 브랜치 아키텍처, 훈련 프로토콜, 추적 파이프라인 내 통합—를 식별하면서도, 재현 가능한 벤치마크와 베이지안 기반의 불확실성 모델링을 통해 강건하고 일반화 가능한 추적 시스템의 발전을 주장한다.

ABSTRACT

This survey presents a deep analysis of the learning and inference capabilities in nine popular trackers. It is neither intended to study the whole literature nor is it an attempt to review all kinds of neural networks proposed for visual tracking. We focus instead on Siamese neural networks which are a promising starting point for studying the challenging problem of tracking. These networks integrate efficiently feature learning and the temporal matching and have so far shown state-of-the-art performance. In particular, the branches of Siamese networks, their layers connecting these branches, specific aspects of training and the embedding of these networks into the tracker are highlighted. Quantitative results from existing papers are compared with the conclusion that the current evaluation methodology shows problems with the reproducibility and the comparability of results. The paper proposes a novel Lisp-like formalism for a better comparison of trackers. This assumes a certain functional design and functional decomposition of trackers. The paper tries to give foundation for tracker design by a formulation of the problem based on the theory of machine learning and by the interpretation of a tracker as a decision function. The work concludes with promising lines of research and suggests future work.

연구 동기 및 목표

• 9개의 최신 시마제이즈 신경망 추적기의 기능 설계 및 학습 능력을 분석하기 위해.
• 현재 벤치마크 평가 방법론의 결함을 규명함으로써, 시각 추적 평가의 재현성과 비교 가능성 부족 문제를 해결하기 위해.
• 시스템적이고 정성적인 방법으로 다양한 방법 간 비교를 가능하게 하기 위해, 추적기를 기능 분해하는 데 사용할 수 있는 새로운 린스 유사 형식을 제안하기 위해.
• 추적을 결정 함수로 모델링하고 특징 및 유사도 학습의 통합을 강조함으로써, 추적기 설계를 기계 학습 이론에 기반화하기 위해.
• 불확실성 모델링, 메모리 통합, 강건성 및 일반화에 대한 향상된 평가 기준을 포함한 향후 연구 방향을 규명하기 위해.

제안 방법

• 기능 조합을 표현하기 위한 프리픽스 표기법 기반의 형식적 접근법을 제안하여, 설계 패턴 간의 체계적인 비교를 가능하게 한다.
• 브랜치 설계, 브랜치 간 연결, 손실 함수 통합에 중점을 두어 시마제이즈 네트워크의 아키텍처를 분석한다.
• 데이터 선택(예: ImageNet, OTB-2013) 및 테스트 세트 누출이 보고된 성능에 미치는 영향을 포함한 훈련 프로토콜을 평가한다.
• 평가 지표의 표준화(예: AuC, A-score, R-score)와 OTB-2013 및 VOT-2015와 같은 안정적인 베이스라인 데이터셋의 지속적 사용을 권장한다.
• 기계 학습 이론에 기반한 추적기를 결정 함수로 모델링하는 이론적 프레임워크를 도입하며, 베이지안 추론으로의 확장 가능성도 고려한다.
• 장애물 및 운동 변화에 대한 강건성을 향상시키기 위해 메모리 메커니즘(예: LSTM), 어텐션 모듈, 파트 기반 표현의 통합을 제안한다.

실험 결과

연구 질문

• RQ1 브랜치 설계 및 브랜치 간 연결과 같은 시마제이즈 네트워크의 아키텍처 구성 요소가 추적 성능와 일반화 능력에 어떤 영향을 미치는가?
• RQ2 왜 현재 시각 추적 평가 방법론은 재현성과 다중 방법 간 비교에 부적합한가?
• RQ3 훈련 데이터 누출과 데이터셋 이동이 추적 벤치마크에서 보고된 성능 향상의 타당성을 얼마나 심각하게 훼손하는가?
• RQ4 린스 유사 표기법을 통한 추적기의 형식적 기능 분해는 어떤 식으로 설계 패턴 식별과 체계적 비교를 향상시킬 수 있는가?
• RQ5 불확실성 모델링과 베이지안 해석은 시마제이즈 기반 추적 시스템의 강건성과 해석 가능성 향상에 어떤 역할을 할 수 있는가?

주요 결과

• VOT-2017에서 A-score가 0.418에서 0.509로 21.77% 향상되었지만, 이는 여전히 지도된 진짜 겹침 영역 평균과의 겹침 수준이 낮음을 시사한다.
• VOT-2017에서 R-score가 1.297에서 0.281로 78.33% 감소하여 상대적 향상에도 불구하고 절대적인 실패율은 여전히 높음을 보여준다.
• 상당한 진전에도 불구하고 A-score와 R-score는 각각 0.5%와 0.7% 이하에서 포화 상태에 도달하여 성능 향상의 수익 감소를 시사한다.
• 최근 벤치마크에서 상관 필터가 딥러닝보다 더 큰 성능 향상 기여도(23.12%)를 보였으며, 이는 딥러닝이 아직 추적 분야에서 돌파구를 마련하지 못했다는 것을 시사한다.
• MDNet은 OTB-2013에서 70.8%의 성능를 기록했지만 GPU에서 1 fps의 높은 계산 비용을 수반하여 정확도와 효율성 간의 상충 관계를 드러낸다.
• 이 논문은 훈련 데이터 누출과 일관되지 않은 평가 프로토콜을 재현 불가능성의 주요 원인으로 규명하며, 공동체 차원에서 안정적이고 영구적인 벤치마크와 표준화된 지표의 도입을 촉구한다.