[논문 리뷰] A Twofold Siamese Network for Real-Time Object Tracking

Anfeng He, Chong Luo외 2명|arXiv (Cornell University)|2018. 02. 24.

Video Surveillance and Tracking Methods참고 문헌 28인용 수 70

한 줄 요약

SA-Siam은 appearance(외관)와 semantic(의미) 두 가지 가지를 가진 Siamese 네트워크를 각각 독립적으로 학습시키고, semantic 분기에 채널 어텐션 모듈을 추가하여, OTB에서 실시간 추적의 최첨단 성능을 달성하고 VOT 벤치마크에서 강력한 결과를 얻는다.

ABSTRACT

Observing that Semantic features learned in an image classification task and Appearance features learned in a similarity matching task complement each other, we build a twofold Siamese network, named SA-Siam, for real-time object tracking. SA-Siam is composed of a semantic branch and an appearance branch. Each branch is a similarity-learning Siamese network. An important design choice in SA-Siam is to separately train the two branches to keep the heterogeneity of the two types of features. In addition, we propose a channel attention mechanism for the semantic branch. Channel-wise weights are computed according to the channel activations around the target position. While the inherited architecture from SiamFC \cite{SiamFC} allows our tracker to operate beyond real-time, the twofold design and the attention mechanism significantly improve the tracking performance. The proposed SA-Siam outperforms all other real-time trackers by a large margin on OTB-2013/50/100 benchmarks.

연구 동기 및 목표

• 강력한 실시간 추적을 위해 보완적 의미 및 외관 특징을 활용하고자 한다.
• 이질적 특징을 갖는 두 가지 분기에 대해 별도 학습이 가능한 이중 Siamese 아키텍처를 제안한다.
• 대상 적응을 위한 semantic 분기의 채널 어텐션 메커니즘을 도입한다.
• 실시간 성능을 유지하면서 판별력과 일반화 능력을 향상시킨다.
• 표준 추적 벤치마크(OTB, VOT)에서 평가하고 설계 선택을 정당화하기 위한 애블레이션 연구를 수행한다.

제안 방법

• 두 개의 완전 합성곱 Siamese 분기: 외관(A-Net)과 의미(S-Net).
• 외관 분기는 유사도 학습을 위해 처음부터 학습; 의미 분기는 사전 학습된 ImageNet 네트워크를 고정된 파라미터로 사용.
• 의미 특징은 채널 가중치(어텐션) 모듈에서 채널 가중치를 추정한 뒤 1x1 ConvNet으로 결합된 z^s 및 컨텍스트를 이용해 채널 가중치를 계산한 후 합성된 채널 가중치를 사용하여 특징을 융합.
• 전체 열지도는 분기 열지도의 가중합으로 표현: h = lambda*h_a + (1-lambda)*h_s, lambda는 검증 세트에서 튜닝.
• 의미 분기의 다중 수준 특징(conv4/conv5)을 융합하며, 어텐션 모듈은 대상 특징에 채널 단위 가중치를 적용한다.
• 크기 변화 처리를 위해 세 가지 스케일 입력을 사용; 각 분기에 대해 로지스틱 손실로 ILSVRC-2015 비디오 데이터 세트에서 오프라인으로 학습.

실험 결과

연구 질문

• RQ1 이종적인 의미 및 외관 특징이 온라인 업데이트 없이도 실시간 추적을 향상시킬 수 있는가?
• RQ2 두 분기의 학습을 분리하면 특징 이질성을 보존하고 성능을 높일 수 있는가?
• RQ3 의미 특징에 대한 채널 어텐션 메커니즘이 구분력 및 추적 강건성을 향상시키는가?
• RQ4 적절한 가중치를 두고 두 분기를 결합하는 것이 표준 벤치마크에서 어떤 영향을 미치는가?

주요 결과

• SA-Siam은 OTB-2013/50/100 벤치마크에서 AUC 및 정밀도 측면에서 모든 다른 실시간 트래커를 능가한다.
• SA-Siam은 실시간 속도(약 50 fps)를 유지하면서 VOT 벤치마크에서 최첨단 성능을 달성한다.
• 애블레이션 결과, 의미 분기와 외관 분기가 보완적인 이점을 제공하며, 어텐션 및 다중 수준 의미 특징이 결과를 크게 개선한다.
• 두 분기를 공동 학습하는 경우 분리 학습에 비해 성능이 저하되며, 이질성 설계의 타당성을 지지한다.
• 의미 분기에 채널 어텐션을 적용하면 특히 다중 수준 의미 특징을 사용할 때 상당한 이득을 얻는다.