[논문 리뷰] Real-Time MDNet

Ilchae Jung, Jeany Son외 2명|arXiv (Cornell University)|2018. 08. 27.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 18

한 줄 요약

이 논문은 실시간 추적을 위한 MDNet 기반의 시속 최적화된 변종인 Real-Time MDNet을 제안한다. 고해상도 특징 맵과 도메인에 관계없이 적용 가능한 새로운 대비 손실을 통해 특징 추출을 가속화하고 특징 표현을 향상시킴으로써 약 25배 빠른 추론 속도를 달성하면서도 거의 동일한 정확도를 유지한다. 이 방법은 데이터셋에 특화된 튜닝 없이 다양한 객체 도메인에서의 분류 특징 학습을 향상시킨다.

ABSTRACT

We present a fast and accurate visual tracking algorithm based on the multi-domain convolutional neural network (MDNet). The proposed approach accelerates feature extraction procedure and learns more discriminative models for instance classification; it enhances representation quality of target and background by maintaining a high resolution feature map with a large receptive field per activation. We also introduce a novel loss term to differentiate foreground instances across multiple domains and learn a more discriminative embedding of target objects with similar semantics. The proposed techniques are integrated into the pipeline of a well known CNN-based visual tracking algorithm, MDNet. We accomplish approximately 25 times speed-up with almost identical accuracy compared to MDNet. Our algorithm is evaluated in multiple popular tracking benchmark datasets including OTB2015, UAV123, and TempleColor, and outperforms the state-of-the-art real-time tracking methods consistently even without dataset-specific parameter tuning.

연구 동기 및 목표

• 실시간 구동을 위해 최첨단 CNN 기반 추적기인 MDNet의 계산 비효율성을 해결하기 위해.
• 큰 수신 영역을 가진 고해상도 특징 맵을 유지하여 특징 표현 품질을 향상시키기 위해.
• 의미 있는 의미적 임bedding을 학습하여 다양한 시각적 도메인 간의 분별력을 향상시키기 위해.
• 정확도를 훼손하지 않고도 데이터셋에 특화된 하이퍼파rameter 튜닝 없이 실시간 성능을 달성하기 위해.

제안 방법

• MDNet의 기본 네트워크와 특징 처리 파이프라인 최적화를 통해 특징 추출 속도를 향상시킨다.
• 활성화당 효과적인 수신 영역를 확장하면서도 공간적 세부 정보를 유지하기 위해 고해상도 특징 맵을 유지한다.
• 다양한 도메인 간 전경 인스턴스를 분리하도록 유도하면서도 의미적 유사성을 유지하는 새로운 대비 손실 항목을 도입한다.
• 개선된 특징 학습과 손실을 원래 MDNet 추적 프레임워크에 통합하여 엔드 투 엔드 학습을 수행한다.
• 도메인에 관계없이 적용 가능한 특징 임베딩을 활용하여 다양한 시각적 외관과 객체 유형 간 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 MDNet을 정확도가 크게 떨어지지 않는 범위에서 실시간 추론이 가능하도록 가속화할 수 있는가?
• RQ2 큰 수신 영역를 가진 고해상도 특징 맵을 유지할 경우 추적 성능에 어떤 영향을 미치는가?
• RQ3 도메인에 관계없이 적용 가능한 대비 손실이 다양한 시각적 도메인 간 특징의 분별성을 향상시킬 수 있는가?
• RQ4 제안된 방법이 데이터셋에 특화된 튜닝 없이 다양한 벤치마크에 얼마나 잘 일반화되는가?

주요 결과

• 제안된 Real-Time MDNet는 원래 MDNet 대비 약 25배 빠른 추론 속도를 달성하면서도 거의 동일한 추적 정확도를 유지한다.
• OTB2015, UAV123, TempleColor 등 여러 벤치마크 데이터셋에서 최신 실시간 추적 알고리즘보다 뛰어난 성능을 보였다.
• 고해상도 특징 맵과 새로운 대비 손실의 통합은 특징 표현과 분별력을 크게 향상시켰다.
• 데이터셋에 특화된 하이퍼파rameter 튜닝 없이도 다양한 추적 시나리오에서 일관된 성능 향상을 달성했다.