[논문 리뷰] Learn to Match: Automatic Matching Network Design for Visual Tracking

Zhipeng Zhang, Yihao Liu외 3명|arXiv (Cornell University)|2021. 08. 02.

Video Surveillance and Tracking Methods참고 문헌 40인용 수 12

한 줄 요약

이 논문은 Siamese 시각 추적을 위한 자동 매칭 네트워크 설계 프레임워크인 AutoMatch를 제안한다. 이는 수동적인 교차상관관계 대신, 다섯 가지 새로운 매칭 연산자인 Concatenation, Pointwise-Addition, Pairwise-Relation, FiLM, Simple-Transformer, Transductive-Guidance의 학습된 조합을 사용하며, 기저선 Ocean 추적기보다 훈련 데이터/시간의 절반 이하로 50 FPS로 실행되면서 OTB100, LaSOT, TrackingNet에서 각각 성공 점수 4.2, 5.7, 5.7 포인트 향상하여 최신 기술 성능을 달성한다.

ABSTRACT

Siamese tracking has achieved groundbreaking performance in recent years, where the essence is the efficient matching operator cross-correlation and its variants. Besides the remarkable success, it is important to note that the heuristic matching network design relies heavily on expert experience. Moreover, we experimentally find that one sole matching operator is difficult to guarantee stable tracking in all challenging environments. Thus, in this work, we introduce six novel matching operators from the perspective of feature fusion instead of explicit similarity learning, namely Concatenation, Pointwise-Addition, Pairwise-Relation, FiLM, Simple-Transformer and Transductive-Guidance, to explore more feasibility on matching operator selection. The analyses reveal these operators' selective adaptability on different environment degradation types, which inspires us to combine them to explore complementary features. To this end, we propose binary channel manipulation (BCM) to search for the optimal combination of these operators. BCM determines to retrain or discard one operator by learning its contribution to other tracking steps. By inserting the learned matching networks to a strong baseline tracker Ocean, our model achieves favorable gains by $67.2 ightarrow 71.4$, $52.6 ightarrow 58.3$, $70.3 ightarrow 76.0$ success on OTB100, LaSOT, and TrackingNet, respectively. Notably, Our tracker, dubbed AutoMatch, uses less than half of training data/time than the baseline tracker, and runs at 50 FPS using PyTorch. Code and model will be released at https://github.com/JudasDie/SOTS.

연구 동기 및 목표

• Siamese 추적에서 수동적인 매칭 연산자 설계의 한계를 해결하기 위해 전문 지식에 의존하고 다양한 추적 과제에 대해 낮은 강건성을 보이는 문제를 해결한다.
• 특징 융합 기반의 대안을 포함하여 교차상관관계를 넘어서는 더 넓은 매칭 연산자 공간을 탐색하여 일반화 능력과 내성 강도를 향상시키고자 한다.
• 분류 및 회귀 브랜치 양쪽에 최적의 매칭 연산자 조합을 학습하는 자동 검색 기반의 메커니즘을 개발하고자 한다.
• 수동 설계에 의존하는 것을 줄이기 위해 연산자 선택을 위한 기저선 기반의 기울기 가능한 채널 수준 조작 전략을 도입하고자 한다.
• Ocean과 같은 강력한 기준 기반 모델에 비해 낮은 훈련 데이터 및 추론 시간으로도 높은 성능을 달성하고자 한다.

제안 방법

• 특징 융합에 기반한 기존의 명시적 유사도 학습 방식이 아닌, 새로운 매칭 연산자 여섯 가지를 제안한다: Concatenation, Pointwise-Addition, Pairwise-Relation, FiLM, Simple-Transformer, Transductive-Guidance.
• 각 특징 채널에 기울기 가능한 조작자( manipulator )를 할당하여 추적 성능에 기여도를 평가하는 이진 채널 조작(Binary Channel Manipulation, BCM)을 도입한다.
• Gumbel-Softmax를 사용하여 조작자를 기울기 가능한 방식으로 이진 결정(유지 또는 기각)으로 디지털화함으로써, 엔드 투 엔드 훈련이 가능하도록 한다.
• 검증 세트 성능을 보상 신호로 사용하여 네트워크 가중치와 최적의 매칭 연산자를 동시에 최적화하기 위해 이중 최적화(bilevel optimization)를 적용한다.
• 학습된 매칭 네트워크를 Ocean 추적기의 분류 및 회귀 브랜치에 적용하여 작업별 최적의 연산자 선택이 가능하도록 한다.
• 검색된 매칭 네트워크를 기준 기반 Ocean 추적기에 통합하고 표준 Siamese 훈련 절차를 사용하여 재학습한다.

실험 결과

연구 질문

• RQ1 다양한 매칭 연산자의 학습된 조합이 Siamese 추적에서 표준 교차상관관계를 능가할 수 있는가?
• RQ2 다른 매칭 연산자들이 특정 시각적 열화 유형(예: 가림, 운동 흐림, 배경 혼잡)에 대해 선택적으로 적응 가능한가?
• RQ3 기울기 가능한 채널 수준의 검색 기반 메커니즘이 인간이 설계한 히우리스틱 없이도 최적의 매칭 연산자 조합을 효과적으로 식별할 수 있는가?
• RQ4 제안된 검색 방법이 다양한 추적 벤치마크에서 일반화되며, 낮은 훈련 비용으로 더 높은 성능을 달성할 수 있는가?
• RQ5 학습된 매칭 네트워크는 실시간 추적 시스템에 효율적으로 구현될 수 있는가?

주요 결과

• AutoMatch는 OTB100에서 성공 점수를 67.2에서 71.4로 4.2 포인트 향상시켜 기준 기반 Ocean 추적기보다 뛰어난 성능을 보였다.
• LaSOT에서는 성공 점수가 52.6에서 58.3으로 상승하여 장기 추적 시나리오에서 개선된 강건성을 입증했다.
• TrackingNet에서는 성공 점수가 76.0에 도달하여 기준 기반 Ocean(70.3)과 메타학습 기반 MAMLTrack(75.7)를 모두 초월했다.
• GOT10K에서는 Ocean 대비 SR 0.75에서 7.8 포인트, SR 0.5에서 7.1 포인트 높은 성능을 기록했으며, 50 FPS로 실행되어 Ocean의 40 FPS보다 빠르다.
• TNL2K에서는 비교된 모든 추적기 중에서 가장 높은 성공 및 정밀도 점수를 기록하여, 다양한 어려운 시퀀스에 대한 일반화 능력을 확인했다.
• 절단 실험 결과, 스칼라 기반의 연산자 선택보다 채널 수준의 조작자를 사용할 경우 성능이 뛰어나며, 무작위 검색에 비해 유의미하게 열등한 결과를 보여, BCM 검색 알고리즘의 유효성을 입증했다.