[논문 리뷰] First Step toward Model-Free, Anonymous Object Tracking with Recurrent Neural Networks

Quan Gan, Qipeng Guo외 2명|arXiv (Cornell University)|2015. 11. 19.

Video Surveillance and Tracking Methods참고 문헌 20인용 수 51

한 줄 요약

이 논문은 객체 분류 레이블에 의존하지 않고, 소음이 많고 혼잡한 환경에서 익명 객체를 추적할 수 있도록 설계된 모델-프리(end-to-end) 훈련 가능한 시각적 객체 추적 시스템을 제안한다. 컨volutional 및 순환 신경망과 다층 주의 메커니즘을 활용하며, 합성 시퀀스에서 커널 기반 상관 추적기보다 뛰어난 성능을 보이며, 특히 간섭이 있는 장시간 시퀀스에서 강건성과 낮은 분산을 보이는 좁은 추적 성능을 입증한다.

ABSTRACT

In this paper, we propose and study a novel visual object tracking approach based on convolutional networks and recurrent networks. The proposed approach is distinct from the existing approaches to visual object tracking, such as filtering-based ones and tracking-by-detection ones, in the sense that the tracking system is explicitly trained off-line to track anonymous objects in a noisy environment. The proposed visual tracking model is end-to-end trainable, minimizing any adversarial effect from mismatches in object representation and between the true underlying dynamics and learning dynamics. We empirically show that the proposed tracking approach works well in various scenarios by generating artificial video sequences with varying conditions; the number of objects, amount of noise and the match between the training shapes and test shapes.

연구 동기 및 목표

• 객체의 카테고리에 대한 사전 지식 없이도 실생활 시나리오(예: 자율 주행)에서 익명 객체를 추적할 수 있는 시각적 객체 추적 시스템을 개발하는 것.
• 객체 검출기나 운동 모델과 같은 수작업으로 설계된 구성 요소에 의존하지 않고, 통합된 엔드 투 엔드 미분 가능한 시스템을 훈련시켜 의존도를 제거하는 것.
• 표현과 추적 동역학을 함께 최적화하여, 가림, 혼잡함, 다수의 간섭 물체 등 어려운 조건에서의 일반화 및 강건성을 향상시키는 것.
• 원시 영상에서 직접 시간적 동역학을 모델링할 수 있는 순환 네트워크를 훈련시키는 것이 가능한지 탐색하는 것.

제안 방법

• 모델은 시각적 특징 추출을 위한 컨volutional 신경망(CNN)과 영상 프레임 간 시간적 의존성을 모델링하기 위한 순환 신경망(RNN)을 조합한다.
• 특징 추출 이전에 입력에서 관련 영역을 동적으로 강조하기 위해 다중 특징 레이어에 주의 메커니즘을 적용한다.
• RNN은 과거 예측값과 해당 시각적 특징을 통합하여 바운딩 박스 출력을 생성함으로써 객체의 운동과 외관에 대한 기억을 가능하게 한다.
• 전체 시스템은 객체 수, 노이즈, 훈련 및 테스트 세트 간 형태 불일치 등 제어된 변형을 가진 합성 영상 시퀀스에서 엔드 투 엔드로 훈련된다.
• 가우시안 주의를 활용한 마스킹 메커니즘이 특징 집중을 안내하지만, 이는 더 밝은 객체를 선호할 수 있다.
• 모델은 가림, 배경 혼잡함 등을 포함한 다양한 추적 과제를 시뮬레이션하는 인위적 생성 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 추적기가 객체 분류 레이블이나 사전 정의된 객체 표현에 의존하지 않고도 엔드 투 엔드로 익명 객체를 추적할 수 있는가?
• RQ2 다층 주의 기반 순환 네트워크가 기존 필터링 또는 검출 기반 추적 방법에 비해 노이즈, 가림, 간섭 물체가 있는 상황에서 추적 강건성을 어떻게 향상시키는가?
• RQ3 테스트 객체의 형태가 훈련 분포와 다를 경우 모델의 일반화 능력은 어느 정도로 유지되는가?
• RQ4 RNN을 통해 시간적 동역학을 직접적으로 모델링하면, 분류 기반 상관 필터에 비해 장시간 시퀀스 추적 성능이 향상되는가?

주요 결과

• 제안된 RecTracker-Att-1 모델은 MNIST-Single-Diff 시퀀스에서 KerCorrTracker를 능가하며, 평균 IOU가 0.64±0.06을 기록한다.
• 다중 객체가 있는 장시간 시퀀스에서는 특히 간섭 물체가 존재할 경우 RecTracker-Att-1이 KerCorrTracker보다 뛰어난 성능을 유지하며, 더 나은 기억 유지 능력 덕분이다.
• RecTracker-Att-1의 IOU 표준편차는 KerCorrTracker보다 한 계단 낮아, 훨씬 더 일관되고 안정적인 추적 성능을 보임을 시사한다.
• ConvTracker 베이스라인은 익명 객체를 효과적으로 추적하지 못하며, 이러한 작업에서 순환 메모리의 필요성을 입증한다.
• 낮은 IOU 점수에도 불구하고 RecTracker-ID는 정성적으로 만족스러운 추적 성능를 보이며, IOU가 복잡한 시나리오에서 추적 품질을 완전히 반영하지 못할 수 있음을 시사한다.
• 더 밝은 간섭 물체가 근처를 지나갈 경우 모델이 객체를 잘못 식별하는 경우가 있어, 현재 주의 메커니즘의 대trast 민감도에 한계가 있음을 보여준다.