[논문 리뷰] Learning to Fuse Asymmetric Feature Maps in Siamese Trackers

Wencheng Han, Xingping Dong외 3명|arXiv (Cornell University)|2020. 12. 04.

Video Surveillance and Tracking Methods참고 문헌 51인용 수 4

한 줄 요약

이 논문은 표적 템플릿과 검색 영역에서 유도된 비대칭 특징 맵을 상호 관련시키는 데에 학습 가능한 비대칭 컨볼루션 모듈(ACM)을 제안한다. 이는 Siamese 추적기의 특징 융합을 향상시킨다. DW-XCorr와 같은 수작업으로 설계된 기법과 달리, ACM은 대규모 데이터로의 엔드 투 엔드 학습을 가능하게 하고, 바운딩 박스 크기 사전 지식을 통합하며, 최신 기술 수준(SOTA)의 성능을 달성한다. LaSOT에서 AUC가 5.8% 향상되었고, 6개의 벤치마크에서 일관된 성능 향상이 관찰되었다.

ABSTRACT

Recently, Siamese-based trackers have achieved promising performance in visual tracking. Most recent Siamese-based trackers typically employ a depth-wise cross-correlation (DW-XCorr) to obtain multi-channel correlation information from the two feature maps (target and search region). However, DW-XCorr has several limitations within Siamese-based tracking: it can easily be fooled by distractors, has fewer activated channels, and provides weak discrimination of object boundaries. Further, DW-XCorr is a handcrafted parameter-free module and cannot fully benefit from offline learning on large-scale data. We propose a learnable module, called the asymmetric convolution (ACM), which learns to better capture the semantic correlation information in offline training on large-scale data. Different from DW-XCorr and its predecessor(XCorr), which regard a single feature map as the convolution kernel, our ACM decomposes the convolution operation on a concatenated feature map into two mathematically equivalent operations, thereby avoiding the need for the feature maps to be of the same size (width and height)during concatenation. Our ACM can incorporate useful prior information, such as bounding-box size, with standard visual features. Furthermore, ACM can easily be integrated into existing Siamese trackers based on DW-XCorror XCorr. To demonstrate its generalization ability, we integrate ACM into three representative trackers: SiamFC, SiamRPN++, and SiamBAN. Our experiments reveal the benefits of the proposed ACM, which outperforms existing methods on six tracking benchmarks. On the LaSOT test set, our ACM-based tracker obtains a significant improvement of 5.8% in terms of success (AUC), over the baseline.

연구 동기 및 목표

• 수작업으로 설계된 DW-XCorr의 한계, 예를 들어 성능 저하 요인인 간섭자에 대한 취약성과 약한 경계 식별 능력 문제를 해결하기 위해.
• 매개변수 없이 구성된 DW-XCorr를 학습 가능한 대체 모듈로 교체하여 상관관계 모듈의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 크기가 다른 공간적 크기를 가진 비대칭 특징 맵을 크기 정렬 없이 융합할 수 있도록 하기 위해.
• 바운딩 박스 크기와 같은 비시각적 사전 지식을 상관관계 학습 과정에 통합하기 위해.
• 속도를 저하시키지 않으면서 다양한 벤치마크에서 추적의 강건성과 정확도를 향상시키기 위해.

제안 방법

• 비대칭 특징 맵(다른 공간적 크기)의 융합을 가능하게 하기 위해, 교차상관관계를 두 개의 수학적으로 동치인 연산으로 분해하는 비대칭 컨볼루션(ACM)을 제안한다.
• Siamese 추적기에서 DW-XCorr를 대체할 수 있는 학습 가능한 모듈을 설계하여, 대규모 데이터로 사전 학습을 통해 특징 표현을 향상시킬 수 있도록 한다.
• 상관관계 레이어에서 시각적 특징과 함께 바운딩 박스 크기를 추가적인 사전 정보로 연결하는 메커니즘을 도입한다.
• 템플릿과 검색 영역의 특징을 별도로 처리한 후 ACM을 통해 상관관계를 계산하는 두 개의 브랜치 아키텍처를 사용한다.
• 특징 맵의 크기가 동일하지 않아도 되도록, 연결된 특징 맵에서 작동하는 학습 가능한 커널을 사용하여 크기 정렬이 필요 없도록 한다.
• SiamFC, SiamRPN++, SiamBAN과 같은 세 가지 최신 기술 수준의 Siamese 추적기에 ACM을 통합하였으며, 아키텍처 변경을 최소화하였다.

Figure 1: Comparison between DW-XCorr and ACM in terms of being fooled by distractors (first row), information distribution across channels (second row) and background suppression to better discriminative target boundaries (third row). DW-XCorr produces similar responses for distractors and the targ

실험 결과

연구 질문

• RQ1 대규모 사전 학습을 활용하여, 학습 가능한 상관관계 모듈이 수작업으로 설계된 DW-XCorr를 초월할 수 있는가?
• RQ2 바운딩 박스 크기를 사전 지식으로 통합할 경우, 추적 성능과 강건성이 어떻게 향상되는가?
• RQ3 공간적 크기 정렬 없이도 비대칭 특징 맵을 효과적으로 융합할 수 있는가?
• RQ4 제안된 ACM이 간섭자로 인한 오분류를 줄이고 경계 정밀도를 향상시키는가?
• RQ5 LaSOT, VOT, OTB-100과 같은 다양한 벤치마크에서 ACM이 얼마나 성능 향상에 기여하는가?

주요 결과

• LaSOT 벤치마크에서 ACM 기반 추적기는 기준 모델 대비 성공 AUC에서 5.8%의 절대적 향상을 달성하여 강력한 일반화 능력을 입증하였다.
• VOT2016에서 SiamBAN-ACM 추적기는 기준 SiamBAN 대비 EAO에서 4.4% 절대적 향상을 기록하였고, 실패율은 20% 감소하였다.
• VOT2019에서 ACM 기반 추적기는 일관된 성능 향상을 보였으며, 기준 모델 대비 정확도와 강건성이 향상되었다.
• UAV123에서 SiamBAN-ACM는 AUC 점수 64.8을 기록하여 SiamCAR(61.4)와 SiamBAN(63.1)을 모두 앞섰다.
• 절연 분석 결과, AC 모듈과 바운딩 박스 크기 통합 모두 성능 향상에 기여하며, 사전 지식을 포함한 전체 ACM이 사전 지식 없이 구현된 변종보다 우수한 성능을 보였다.
• ACM 기반 추적기는 고속 추론을 유지하였으며, SiamFC-ACM는 GTX1080Ti에서 172 FPS로 실행되어 속도 손실가 최소였다.

Figure 2: Comparison of (c) AC with (a) DW-XCorr and (b) a naive strategy to fuse different-sized feature maps. (a): DW-XCorr uses a $C$ channel feature map extracted from the template as kernel and convolves instance feature maps in a depth-wise manner to generate a $C$ channel correlation feature