[논문 리뷰] Alpha-Refine: Boosting Tracking Performance by Precise Bounding Box Estimation

Bin Yan, Dong Wang외 2명|arXiv (Cornell University)|2020. 07. 04.

Video Surveillance and Tracking Methods참고 문헌 69인용 수 20

한 줄 요약

Alpha-Refine는 시각 추적을 위한 새로운 유형의 유연하고 정확한 정밀화 모듈을 제안하며, 픽셀 단위 상관관계 레이어와 공간 인식 비국소 레이어를 통해 경계 상자 추정을 향상시켜 정확한 경계 상자, 모서리, 마스크 예측을 가능하게 한다. 경계 상자, 모서리, 마스크 예측을 위한 경량 브랜치 선택기 통합을 통해 TrackingNet, LaSOT, VOT2018 벤치마크에서 다섯 가지 주요 추적기에서 최신 기술 성능을 달성한다.

ABSTRACT

In recent years, the multiple-stage strategy has become a popular trend for visual tracking. This strategy first utilizes a base tracker to coarsely locate the target and then exploits a refinement module to obtain more accurate results. However, existing refinement modules suffer from the limited transferability and precision. In this work, we propose a novel, flexible and accurate refinement module called Alpha-Refine, which exploits a precise pixel-wise correlation layer together with a spatial-aware non-local layer to fuse features and can predict three complementary outputs: bounding box, corners and mask. To wisely choose the most adequate output, we also design a light-weight branch selector module. We apply the proposed Alpha-Refine module to five famous and state-of-the-art base trackers: DiMP, ATOM, SiamRPN++, RTMDNet and ECO. The comprehensive experiments on TrackingNet, LaSOT and VOT2018 benchmarks demonstrate that our approach significantly improves the tracking performance in comparison with other existing refinement methods. The source codes will be available at https://github.com/MasterBin-IIAU/AlphaRefine.

연구 동기 및 목표

• 다단계 시각 추적 파이프라인에서 기존 정밀화 모듈의 제한된 이식성과 정밀도 문제를 해결하기 위해.
• 경계 상자, 모서리, 세그멘테이션 마스크의 세 가지 상호보완적 출력을 예측할 수 있는 통합 정밀화 모듈을 개발하기 위해.
• 특정 추적 시나리오에 최적화된 출력을 동적으로 선택할 수 있는 경량 브랜치 선택기를 통해 정확도와 내성 향상을 위해.
• 최신 기술 기반 추적기와의 통합을 통해 다양한 벤치마크에서 추적 성능을 향상시키기 위해.

제안 방법

• 정확한 국소화를 위해 템플릿과 검색 영역 간의 세밀한 특징 상호작용을 캡처하기 위해 픽셀 단위 상관관계 레이어를 도입한다.
• 장거리 맥락적 특징을 집계하면서도 공간적 구조를 유지하기 위해 공간 인식 비국소 레이어를 활용한다.
• 경계 상자, 객체 모서리, 세그멘테이션 마스크의 세 가지 병렬 출력을 생성하며, 각각 특정 추적 시나리오에 최적화된다.
• 특징 신뢰도와 맥락에 기반해 가장 적절한 출력을 동적으로 선택하는 경량 브랜치 선택기 모듈을 설계한다.
• DiMP, ATOM, SiamRPN++, RTMDNet, ECO와 같은 기존 기반 추적기들에 플러그인 방식의 정밀화 헤드로 Alpha-Refine 모듈을 통합한다.
• 기반 추적기와 함께 엔드 투 엔드로 훈련하며, 다중 작업 학습을 활용해 일반화 능력과 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 경계 상자, 모서리, 마스크의 세 가지 상호보완적 출력을 예측하는 통합 정밀화 모듈이 다양한 추적 시나리오에서 정확도와 내성 향상에 기여할 수 있는가?
• RQ2 픽셀 단위 상관관계 레이어와 공간 인식 비국소 레이어의 조합이 정밀한 국소화를 위한 특징 융합에 얼마나 효과적인가?
• RQ3 다양한 추적 조건에서 가장 적합한 출력을 선택함으로써 경량 브랜치 선택기가 성능 향상에 얼마나 기여하는가?
• RQ4 Alpha-Refine 모듈은 다양한 최신 기술 기반 기반 추적기와 벤치마크 간에 얼마나 이식 가능한가?

주요 결과

• Alpha-Refine는 다섯 가지 주요 기반 추적기와 통합되었을 때 TrackingNet 벤치마크에서 뛰어난 성능을 보이며 최신 기술 성능을 달성한다.
• LaSOT 벤치마크에서 장기 추적 과제와 큰 외관 변화를 다룰 때에도 일관된 성능 향상을 보인다.
• VOT2018 벤치마크에서 Alpha-Refine는 정확도와 내성을 향상시키며, EAO(Expected Average Overlap) 및 정확도 측면에서 기존 정밀화 방법을 능가한다.
• 제거 실험을 통해 픽셀 단위 상관관계 레이어와 공간 인식 비국소 모듈이 성능 향상에 기여한다는 것이 확인되었다.
• 경량 브랜치 선택기는 다양한 추적 조건에서 최적의 출력(경계 상자, 모서리, 마스크)을 효과적으로 식별하여 전반적인 신뢰도를 향상시킨다.
• 소스 코드는 https://github.com/MasterBin-IIAU/AlphaRefine 에 공개되어 재현성과 향후 연구를 가능하게 한다.