[논문 리뷰] Ocean: Object-aware Anchor-free Tracking

Zhipeng Zhang, Houwen Peng외 3명|arXiv (Cornell University)|2020. 06. 18.

Video Surveillance and Tracking Methods참고 문헌 46인용 수 15

한 줄 요약

이 논문은 오브젝트 인식 기반의 앵커리스 시아모이즈 추적기인 Ocean을 제안한다. 이는 사전 정의된 앵커 박스를 개선하는 대신 직접적으로 타겟 오브젝트의 위치를 회귀함으로써, 저 IoU 조건에서도 더 높은 정밀도와 강인성을 달성한다. 오브젝트 인식 특징을 학습하기 위해 특징 정렬 모듈을 도입하고, 다중 척도 모델링을 위해 비정규 불릿 컨볼루션을 사용함으로써, Ocean은 VOT-2018을 포함한 다섯 가지 벤치마크에서 최신 기술 수준의 성능을 달성했으며, 58 FPS에서 VOT-2018에서 0.467의 EAO를 기록했다.

ABSTRACT

Anchor-based Siamese trackers have achieved remarkable advancements in accuracy, yet the further improvement is restricted by the lagged tracking robustness. We find the underlying reason is that the regression network in anchor-based methods is only trained on the positive anchor boxes (i.e., $IoU \geq0.6$). This mechanism makes it difficult to refine the anchors whose overlap with the target objects are small. In this paper, we propose a novel object-aware anchor-free network to address this issue. First, instead of refining the reference anchor boxes, we directly predict the position and scale of target objects in an anchor-free fashion. Since each pixel in groundtruth boxes is well trained, the tracker is capable of rectifying inexact predictions of target objects during inference. Second, we introduce a feature alignment module to learn an object-aware feature from predicted bounding boxes. The object-aware feature can further contribute to the classification of target objects and background. Moreover, we present a novel tracking framework based on the anchor-free model. The experiments show that our anchor-free tracker achieves state-of-the-art performance on five benchmarks, including VOT-2018, VOT-2019, OTB-100, GOT-10k and LaSOT. The source code is available at https://github.com/researchmm/TracKit.

연구 동기 및 목표

• 저 IoU 예측을 개선하는 데에 앵커 기반 시아모이즈 추적기의 한계를 해결한다. 이는 추적 이격을 유발할 수 있다.
• 고 IoU 앵커(> 0.6)로만 훈련된 회귀 네트워크의 낮은 일반화 능력을 극복한다.
• 부정확한 예측을 수정할 수 있도록 해, 음영, 변형 및 조명 변화 조건에서도 추적 강인성을 향상시킨다.
• 공간 정렬 모듈을 통한 오브젝트 인식 특징 학습을 통해 특징의 구분 능력을 향상시킨다.
• 실시간 모델 업데이트와 호환되는 확장 가능한 프레임워크를 설계하여 추론 중 외관 변화에 적응할 수 있도록 한다.

제안 방법

• 앵커 기반의 회귀를 직접적인 바운딩 박스 회귀로 대체한다: 각 지정된 타겟 박스 내의 픽셀에서 타겟 오브젝트의 네 면까지의 거리를 예측한다.
• 2차원 공간 변환을 사용해 예측된 바운딩 박스 내 특징을 샘플링하는 특징 정렬 모듈을 도입하여 오브젝트 인식 특징을 생성하고 분류에 활용한다.
• 특징 조합 모듈에서 비정규 불릿 컨볼루션을 사용하여 계산 비용을 크게 증가시키지 않으면서도 다중 척도 타겟 표현을 모델링한다.
• 공유된 백본을 사용하는 두 개의 스트림 시아모이즈 네트워크를 사용해 템플릿 영역과 검색 영역의 특징을 추출한다.
• 오브젝트 인식 특징을 활용하여 전경-배경 분류 능력을 향상시키는 분류 헤드를 설계한다.
• 실시간 업데이트 모듈을 플러그인 방식으로 통합하여 추론 중 외관 변화에 모델을 적응시킬 수 있도록 한다.

실험 결과

연구 질문

• RQ1 앵커 기반 방법이 개선하지 못하는 저 IoU 예측을 수정할 수 있는 추적 프레임워크를 설계할 수 있는가?
• RQ2 오브젝트 인식 특징은 시아모이즈 추적에서 분류 신뢰성과 정밀도를 어떻게 향상시킬 수 있는가?
• RQ3 특징 추출에서 비정규 불릿 컨볼루션은 다중 척도 표현 학습을 얼마나 향상시키는가?
• RQ4 제안된 앵커리스 프레임워크는 VOT, OTB, GOT-10k, LaSOT 등 다양한 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 실시간 업데이트 모듈의 통합은 외관 변화에 대한 강인성을 얼마나 향상시키는가?

주요 결과

• Ocean은 VOT-2018에서 0.467의 새로운 최고 성능 EAO를 기록했으며, SiamRPN++ 대비 12.8% 상대적 향상, SiamRPN 대비 92.2% 상대적 향상을 달성했다.
• 특징 정렬 모듈은 EAO에 2.9점 향상 기여하여 특징의 구분 능력을 향상시키는 효과를 입증했다.
• 비정규 불릿 컨볼루션 모듈은 기준 모델 대비 EAO를 4.2점 향상시켜 강력한 다중 척도 모델링 능력을 보였다.
• GOT-10k를 훈련에 추가하면 성능이 1.2점 향상되며(0.455 → 0.467), 성능 향상이 모델 아키텍처의 영향임을 확인했다.
• 실시간 업데이트 모듈을 통합함으로써 성능이 추가로 2.2점 향상되어 프레임워크의 확장성과 적응 가능성의 타당성을 입증했다.
• 특징 시각화 결과 오브젝트 인식 특징은 전체 오브젝트에 집중하는 반면, 일반 특징은 중심부에 집중함을 확인하여 전역적 맥락 이해도 향상됨을 확인했다.