[논문 리뷰] Adversarial Feature Sampling Learning for Efficient Visual Tracking

Yingjie Yin, Lei Zhang외 2명|arXiv (Cornell University)|2018. 09. 13.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 원본 이미지가 아닌 딥 컨volution 레이어의 특징맵에서 직접 특징을 샘플링하는 새로운 시각 추적 방법을 제안한다. 이는 계산 부담을 크게 감소시키며, 적대적 특징 샘플링과 GAN 기반의 양성 샘플 증강 전략을 활용해 기준 데이터셋에서 최신 기술 수준의 추적 정확도를 달성하면서도 인fer 속도를 크게 향상시킨다.

ABSTRACT

The tracking-by-detection framework usually consist of two stages: drawing samples around the target object in the first stage and classifying each sample as the target object or background in the second stage. Current popular trackers based on tracking-by-detection framework typically draw samples in the raw image as the inputs of deep convolution networks in the first stage, which usually results in high computational burden and low running speed. In this paper, we propose a new visual tracking method using sampling deep convolutional features to address this problem. Only one cropped image around the target object is input into the designed deep convolution network and the samples is sampled on the feature maps of the network by spatial bilinear resampling. In addition, a generative adversarial network is integrated into our network framework to augment positive samples and improve the tracking performance. Extensive experiments on benchmark datasets demonstrate that the proposed method achieves a comparable performance to state-of-the-art trackers and accelerates tracking-by-detection trackers based on raw-image samples effectively.

연구 동기 및 목표

• 원본 이미지 샘플링에 의존하는 추적-검출 방법의 높은 계산 비용을 줄이기 위해.
• 원본 이미지에서의 샘플링을 딥 특징맵으로 이동시켜 정확도를 유지하면서 추적 효율성을 향상시키기 위해.
• 양성 샘플 증강을 위한 적대적 학습을 통해 모델의 강건성과 일반화 능력을 향상시키기 위해.
• 기존의 원본 이미지 기반 추적기들과 비교해 성능은 경쟁력 있게 유지하면서도 훨씬 더 빠른 추론 속도를 달성하기 위해.

제안 방법

• 이 방법은 원본 입력 이미지가 아닌 딥 컨volution 네트워크의 특징맵에서 후보 영역을 직접 샘플링한다.
• 공간 이중선형 보간을 사용해 특징맵 상의 원하는 위치에서 특징을 추출함으로써 효율적이고 미분 가능한 샘플링을 가능하게 한다.
• 생성적 적대적 네트워크(GAN)를 통합해 추가적인 양성 샘플을 합성함으로써 특징의 구분 능력과 강건성을 향상시킨다.
• 분류 및 적대적 목적을 모두 포함한 병합 손실을 사용해 종합적으로 엔드 투 엔드로 추적기를 학습시킨다.
• 네트워크에 입력되는 것은 타겟 주변의 하나의 자르기된 이미지뿐이며, 이후의 샘플링은 해당 특징맵에서 수행된다.
• 모든 후보 샘플에 대해 전체 해상도의 이미지에 대해 반복적인 순방향 전파를 피하기 때문에 프레임워크는 높은 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 원본 이미지가 아닌 딥 특징맵에서 샘플링하는 것이 추적-검출 아키텍처의 계산 비용을 줄일 수 있는가?
• RQ2 적대적 특징 샘플링은 추적 정확도와 강건성을 어떻게 향상시키는가?
• RQ3 GAN로 생성된 양성 샘플은 시각 추적에서 모델의 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 특징맵 기반 샘플링 전략은 기존 최신 기술 수준의 추적기들과 비교해 성능은 유사하게 유지하면서도 훨씬 더 빠른가?

주요 결과

• 제안된 방법은 OTB-2015 및 VOT2018와 같은 표준 기준 데이터셋에서 최신 기술 수준의 추적기들과 비교해 유사한 정확도를 달성한다.
• 반복적인 이미지 수준의 샘플링을 제거함으로써 계산 비용을 감소시켜 추론 속도가 향상된다.
• 양성 샘플 증강을 위한 GAN 통합으로 특징의 구분 능력과 추적 강건성이 향상된다.
• 강화된 양성 샘플의 다양성 덕분에 음영, 운동 왜곡 등의 어려운 조건에서도 모델이 뛰어난 일반화 능력을 보인다.
• 원본 이미지 기반 추적 기반 모델들과 비교해 뚜렷한 속도 향상을 보이며, 정확도 손실는 최소한도로 유지된다.