[논문 리뷰] Learning Spatial-Aware Regressions for Visual Tracking

Chong Sun, Dong Wang외 2명|arXiv (Cornell University)|2017. 06. 22.

Video Surveillance and Tracking Methods참고 문헌 29인용 수 6

한 줄 요약

이 논문은 공간 인식 커널화된 리지 회귀(KRR)와 공간적으로 정규화된 컨볼루션 신경망(CNN)을 결합한 새로운 시각 추적 방법인 LSART를 제안한다. 교차 패치 유사도를 모델링하고 국소화된 필터 응답을 강제화함으로써, 추적의 정확도를 향상시키고 가림 및 운동에 대한 강건성을 향상시킨다. VOT-2017에서 최고 성능을 기록하였으며, 두 번째로 우수한 추적기보다 상대적 성능 향상률이 12.94%에 이른다.

ABSTRACT

In this paper, we analyze the spatial information of deep features, and propose two complementary regressions for robust visual tracking. First, we propose a kernelized ridge regression model wherein the kernel value is defined as the weighted sum of similarity scores of all pairs of patches between two samples. We show that this model can be formulated as a neural network and thus can be efficiently solved. Second, we propose a fully convolutional neural network with spatially regularized kernels, through which the filter kernel corresponding to each output channel is forced to focus on a specific region of the target. Distance transform pooling is further exploited to determine the effectiveness of each output channel of the convolution layer. The outputs from the kernelized ridge regression model and the fully convolutional neural network are combined to obtain the ultimate response. Experimental results on two benchmark datasets validate the effectiveness of the proposed method.

연구 동기 및 목표

• 기존의 KRR 및 CNN 기반 추적기의 한계를 해결하기 위해, 공간적 구조를 모델링하지 못하고 과적합 또는 국소화 정확도 저하 문제를 겪는 것을 목표로 한다.
• 깊은 특징 내 패치 간의 공간적 관계를 명시적으로 모델링하여 추적의 강건성을 향상시키기 위한 목표이다.
• KRR가 전체 객체 구조를 포괄적으로 포착하고 CNN이 국소 영역에 집중하도록 상호보완적인 학습 프레임워크를 개발하기 위한 목표이다.
• CNN 필터 커널에 공간 제약 조건을 강제하여 과적합을 줄이고 일반화 능력을 향상시키기 위한 목표이다.
• 특히 도전적인 조건에서의 성능을 향상시켜 벤치마크 데이터셋에서 최고 성능을 달성하기 위한 목표이다.

제안 방법

• 교차 패치 유사도 커널을 갖춘 커널화된 리지 회귀 모델을 제안하며, 이는 유사도 점수를 가중치화하고 회귀 계수와 함께 공동 최적화된다.
• KRR 모델을 미분 가능한 신경망으로 재구성하여 엔드 투 엔드 학습과 효율적 최적화를 가능하게 한다.
• 완전 컨volution 신경망에 공간적으로 정규화된 필터 커널을 도입하여, 각 출력 채널이 대상의 특정 국소 영역에만 반응하도록 유도한다.
• 거리 변환 풀링을 활용하여 각 특징 맵 응답의 신뢰도를 평가하고 효과적인 학습을 유도한다.
• 데이터 증강 기법(회전 포함)을 활용한 이중 단계 학습 전략을 도입하여 CNN 파라미터를 효과적으로 업데이트하고 과적합을 줄인다.
• KRR 및 CNN 모델의 히트맵을 융합하여 목표 물체 국소화를 위한 최종적으로 더 정확한 응답 맵을 생성한다.

실험 결과

연구 질문

• RQ1 깊은 특징 내 교차 패치 유사도를 모델링하면 커널화된 리지 회귀의 시각 추적에서 강건성이 향상되는가?
• RQ2 CNN 필터 커널의 공간 정규화는 국소화 정확도 향상과 과적합 감소에 기여하는가?
• RQ3 공간 인식 KRR와 공간 인식 CNN 모델을 융합하면 개별 모델보다 더 높은 성능을 낼 수 있는가?
• RQ4 최근의 벤치마크인 VOT-2017에서 제안된 방법은 최고 수준의 추적기와 비교해 어떤가?
• RQ5 각 구성 요소(CPS 및 SRK)가 전체 추적 성능에 기여하는 정도는 어떠한가?

주요 결과

• LSART 추적기는 VOT-2017 벤치마크에서 가장 높은 EAO 점수를 기록하였으며, 두 번째로 뛰어난 추적기(CFCF)보다 상대적 성능 향상률이 12.94%에 이른다.
• VOT-2017 데이터셋에서 수작업 특징 없이도 EAO가 0.275에 도달하여 CCOT을 초월하고 최고 수준의 추적기들과 경쟁 가능하다.
• 제거 실험 결과, 교차 패치 유사도(CPS)와 공간 정규화 커널(SRK) 모듈을 모두 통합할 경우 기준 모델 대비 정밀도가 9.75% 향상되고 AUC가 10.89% 향상된다.
• CPS 모듈만 적용해도 기준 모델 대비 정밀도가 5.35% 향상되고 성공도 플롯에서 6.93% 향상된다.
• SRK 모듈만 적용해도 정밀도에서 상대적 성능 향상률이 4.8%, AUC에서 5.2%에 이르며, 효과성을 입증한다.
• OTB-2015에서 LSART는 성공 점수 0.606과 정밀도 0.841을 기록하였으며, 구성 요소 통합으로 인한 상당한 성능 향상이 있었다.