[논문 리뷰] Siamese Box Adaptive Network for Visual Tracking

Zedu Chen, Bineng Zhong외 3명|arXiv (Cornell University)|2020. 03. 15.

Video Surveillance and Tracking Methods참고 문헌 51인용 수 17

한 줄 요약

이 논문은 유일한 완전 컨volution 네트워크(FCN)를 통해 직접 바운딩 박스를 회귀하고 객체를 분류함으로써, 다중 척도 검색 또는 사전 정의된 앵커 박스가 필요 없도록 하는 시アン넷 기반의 시각 추적 프레임워크인 SiamBAN을 제안한다. 이 방법은 타원 기반의 레이블 할당 전략을 통해 엔드 투 엔드 학습을 통해 척도 및 종횡비 추정에서 뛰어난 정확도를 보이며, 여러 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하면서도 40 FPS로 실행된다.

ABSTRACT

Most of the existing trackers usually rely on either a multi-scale searching scheme or pre-defined anchor boxes to accurately estimate the scale and aspect ratio of a target. Unfortunately, they typically call for tedious and heuristic configurations. To address this issue, we propose a simple yet effective visual tracking framework (named Siamese Box Adaptive Network, SiamBAN) by exploiting the expressive power of the fully convolutional network (FCN). SiamBAN views the visual tracking problem as a parallel classification and regression problem, and thus directly classifies objects and regresses their bounding boxes in a unified FCN. The no-prior box design avoids hyper-parameters associated with the candidate boxes, making SiamBAN more flexible and general. Extensive experiments on visual tracking benchmarks including VOT2018, VOT2019, OTB100, NFS, UAV123, and LaSOT demonstrate that SiamBAN achieves state-of-the-art performance and runs at 40 FPS, confirming its effectiveness and efficiency. The code will be available at https://github.com/hqucv/siamban.

연구 동기 및 목표

• 기존 추적기들이 척도 및 종횡비 추정을 위해 히우리스틱적인 다중 척도 검색 또는 앵커 박스에 의존하는 한계를 해결하기 위해.
• 후보 박스와 연관된 하이퍼파라미터 튜닝을 피할 수 있는 더 유연하고 일반적인 시각 추적 프레임워크를 개발하기 위해.
• 완전 컨volution 네트워크의 표현 능력을 활용하여 척도 변화, 가림, 외형 변화와 같은 어려운 상황에서도 추적 정확도를 향상시키기 위해.
• 객체 존재 여부와 바운딩 박스 오프셋을 직접 예측하는 통합 분류-회귀 헤드를 통해 엔드 투 엔드 학습을 가능하게 하기 위해.

제안 방법

• 프레임워크는 템플릿 및 검색 이미지에서 특징을 추출하기 위해 시앙넷 백본을 사용하고, 이후 상관 계층을 통해 특징 맵을 생성한다.
• 상관 맵의 각 공간 위치에 대해 박스 적응형 헤드를 적용하여 중심에서 바운딩 박스 가장자리까지의 상대 오프셋을 나타내는 4차원 벡터를 예측한다.
• 통합 FCN를 사용하여 엔드 투 엔드 학습을 수행하며, 분류(전경/배경 점수)와 회귀(바운딩 박스 오프셋)를 동시에 최적화한다.
• 다양한 크기와 종횡비를 가진 타겟을 더 잘 다루기 위해 타원 기반의 레이블 할당 전략을 도입하여 긍정/부정 샘플 간의 구분을 향상시킨다.
• 다양한 컨볼루션 레이어(예: conv3, conv4, conv5)에서의 다중 수준 특징 집합을 사용하여 특징 표현과 추적의 강건성을 향상시킨다.
• 학습 중 모호한 샘플을 무시하기 위해 버퍼 메커니즘을 적용하여 일반화 능력을 향상시키고 감독 신호의 노이즈를 줄인다.

실험 결과

연구 질문

• RQ1 다중 척도 검색이나 앵커 박스에 의존하지 않고도 시각 추적 프레임워크가 척도 및 종횡비 추정에서 높은 정확도를 달성할 수 있는가?
• RQ2 앵커리스이고 완전 컨볼루션 설계는 앵커 기반 또는 다중 척도 방법에 비해 추적 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ3 레이블 할당 전략의 선택(타원, 원, 직사각형)이 추적기 성능과 강건성에 어떤 영향을 미치는가?
• RQ4 다중 수준 특징 집합이 다양한 시각 추적 벤치마크에서 추적 성능 향상에 얼마나 효과적인가?
• RQ5 완전 컨볼루션 네트워크 기반의 시앙넷에서 통합 분류-회귀 헤드가 기존 최신 기술 수준의 추적기들보다 정확도와 추론 속도 양면에서 뛰어나게 성능을 내는가?

주요 결과

• SiamBAN은 VOT2018, VOT2019, OTB100, NFS, UAV123, LaSOT의 여섯 가지 주요 벤치마크에서 최신 기술 수준의 성능을 달성했다.
• 추적기는 40 FPS로 실행되어 높은 효율성과 실시간 기능을 확인했다.
• OTB100에서 다중 수준 특징 집합과 타원 기반 레이블 할당 전략을 사용할 경우 AUC가 0.696에 도달했으며, 원 및 직사각형 레이블을 사용한 변종들보다 뛰어난 성능을 보였다.
• 절단 분석 결과, conv3, conv4, conv5의 특징를 함께 사용할 경우 최고의 성능가능성을 보였으며, OTB100에서 AUC는 0.696였다.
• 타원 기반 레이블 할당 방법은 원 및 직사각형 레이블보다 추적기의 강건성과 정확도를 향상시켰으며, 더 높은 AUC와 척도 및 종횡비 추정에서 더 우수한 시각적 결과로 입증되었다.
• SiamBAN은 OTB100에서 SiamRPN++보다 AUC가 5.1% 높았고, 평가된 모든 벤치마크에서 SiamFC 및 SiamRPN++보다 더 높은 정확도를 기록했다.