[논문 리뷰] SANet: Structure-Aware Network for Visual Tracking

Heng Fan, Haibin Ling|arXiv (Cornell University)|2016. 11. 21.

Video Surveillance and Tracking Methods참고 문헌 50인용 수 13

한 줄 요약

SANet는 다중 컨volution 레이어의 특징 수준에서 객체의 자기 구조를 모델링하기 위해 순환 신경망(RNN)을 통합하는 구조 인식 추적 네트워크를 제안한다. 이는 유사한 간섭 요소에 대한 분별력을 향상시킨다. CNN과 RNN 특징을 스킵 컨카테네이션을 통해 융합함으로써, OTB100, TC-128, VOT2015 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, 정밀도, 성공률, 내성성 지표에서 기존의 CNN 기반 추적기들을 능가한다.

ABSTRACT

Convolutional neural network (CNN) has drawn increasing interest in visual tracking owing to its powerfulness in feature extraction. Most existing CNN-based trackers treat tracking as a classification problem. However, these trackers are sensitive to similar distractors because their CNN models mainly focus on inter-class classification. To address this problem, we use self-structure information of object to distinguish it from distractors. Specifically, we utilize recurrent neural network (RNN) to model object structure, and incorporate it into CNN to improve its robustness to similar distractors. Considering that convolutional layers in different levels characterize the object from different perspectives, we use multiple RNNs to model object structure in different levels respectively. Extensive experiments on three benchmarks, OTB100, TC-128 and VOT2015, show that the proposed algorithm outperforms other methods. Code is released at http://www.dabi.temple.edu/~hbling/code/SANet/SANet.html.

연구 동기 및 목표

• CNN 기반 추적기의 상위 클래스 분류에 대한 과도한 의존성으로 인해 유사한 간섭 요소를 다루는 데에 한계가 존재하는 문제를 해결하기 위해.
• 대상 객체의 내재된 자기 구조 정보를 활용하여 추적의 내성성을 향상시키기 위해.
• RNN을 CNN과 융합하여 다수의 특징 수준에서 객체 내부의 장거리 공간적 의존성을 모델링하기 위해.
• 스킵 컨카테네이션 전략을 통해 CNN 및 RNN 특징를 융합하여 특징 표현을 향상시키기 위해.
• 대규모이고 도전적인 추적 벤치마크에서 제안된 아키텍처의 효과성을 검증하기 위해.

제안 방법

• 해당 방법은 CNN 특징 계층의 다양한 수준에서 객체 구조를 모델링하기 위해 다중 RNN을 활용하며, 다중 척도 공간적 관계를 포착한다.
• 자기 구조는 특징 맵을 순차적으로 처리하는 RNN을 통해 인코딩되며, 객체 내부의 장거리 의존성을 학습한다.
• 동일한 레벨에서 CNN과 RNN 특징 맵을 융합하기 위해 스킵 컨카테네이션 전략을 사용하여 외관과 구조적 맥락을 모두 포함한 표현을 풍부하게 한다.
• 일반화 성능 향상을 위해 VOT2013, VOT2014, VOT2015 데이터셋을 기반으로 다중 도메인 학습을 수행한다.
• 최종 추적기는 융합된 특징를 사용해 온라인 분류를 수행함으로써 간섭 요소에 대한 강력한 분별력을 확보한다.
• 정밀도, 성공도, 기대 오버랩 비율 등의 표준 지표를 사용하여 OTB100, TC-128, VOT2015에서 아키텍처를 평가한다.

실험 결과

연구 질문

• RQ1 객체의 내부 자기 구조를 모델링하는 것이 유사한 간섭 요소에 대한 추적 내성성 향상에 기여하는가?
• RQ2 객체 특징 내의 공간적 의존성을 RNN을 통합함으로써 추적 성능에 어떤 영향을 미치는가?
• RQ3 다양한 CNN 특징 레이어에서의 다중 수준 구조 모델링이 단일 수준 모델링을 초월해 분별력을 향상시키는가?
• RQ4 CNN과 RNN 특징의 스킵 컨카테네이션 융합 전략이 추적 정확도 및 내성성 향상에 어느 정도 영향을 미치는가?
• RQ5 다양한 도전적인 조건에서 표준 벤치마크에서 제안된 방법이 최신 기술 추적기들과 비교해 어떻게 성능을 내는가?

주요 결과

• OTB100에서 SANet는 정밀도 점수 0.922와 성공 점수 0.688를 기록하며, 모든 11개 속성에서 다른 최신 기술 방법들을 능가한다.
• TC-128에서 SANet는 정밀도 및 성공도 그래프에서 최고 성능을 기록하며, C-COT, HCFT, HDT, MDNet 등의 추적기들을 지속적으로 능가한다.
• VOT2015에서 SANet는 기대 평균 오버랩 비율 0.3895를 기록하여, 이는 0.3783을 기록한 MDNet을 능가한다.
• 정확도 및 내성성 측면에서 SANet는 각각 1.17과 0.61로 1위를 차지하며, DSST, DeepSRDCF, LGT, MEEM, MUSTer, SAMF, TGPR를 모두 능가한다.
• 절단 실험 결과, 다중 도메인 학습이 성능 향상에 기여하며, 이를 제거할 경우 성능이 약간 저하됨을 확인하여 그 효과를 입증한다.
• 스킵 컨카테네이션 전략이 특징 표현을 크게 향상시켜, 모든 벤치마크에서 추적 성능 향상에 기여한다.