[논문 리뷰] Lucid Data Dreaming for Multiple Object Tracking

Anna Khoreva, Rodrigo Benenson외 3명|arXiv (Cornell University)|2017. 03. 28.

Video Surveillance and Tracking Methods참고 문헌 42인용 수 31

한 줄 요약

이 논문은 단일 레이블링된 첫 번째 프레임에서 도메인 내 합성 비디오 프레임을 생성하는 훈련 전략인 Lucid Data Dreaming을 제안한다. 이는 이전 방법들보다 20배에서 100배 적은 레이블링 데이터로 고성능 다중 객체 추적을 가능하게 한다. 유의미한 미래 프레임을 합성함으로써, ImageNet 사전 훈련 없이도 외관 및 운동 기반 모델을 효과적으로 훈련시킬 수 있으며, 최소한의 데이터로 세 가지 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Convolutional networks reach top quality in pixel-level object tracking but require a large amount of training data (1k ~ 10k) to deliver such results. We propose a new training strategy which achieves state-of-the-art results across three evaluation datasets while using 20x ~ 100x less annotated data than competing methods. Instead of using large training sets hoping to generalize across domains, we generate in-domain training data using the provided annotation on the first frame of each video to synthesize ("lucid dream") plausible future video frames. In-domain per-video training data allows us to train high quality appearance- and motion-based models, as well as tune the post-processing stage. This approach allows to reach competitive results even when training from only a single annotated frame, without ImageNet pre-training. Our results indicate that using a larger training set is not automatically better, and that for the tracking task a smaller training set that is closer to the target domain is more effective. This changes the mindset regarding how many training samples and general "objectness" knowledge are required for the object tracking task.

연구 동기 및 목표

• 다중 객체 추적을 위한 대규모 레이블링 데이터셋에 대한 의존도를 줄이기 위해.
• 현재 방법들이 높은 성능을 내기 위해 수천 개의 레이블링 프레임이 필요로 하는 한계를 해결하기 위해.
• 일반적인 사전 훈련이나 대규모 데이터에 의존하지 않고, 최소한의 도메인 내 훈련 데이터로 추적 성능를 향상시키기 위해.
• 도메인 특화 데이터 증강이 추적 작업에서 일반적인 데이터 다양성보다 우수한 성능를 낼 수 있는지 조사하기 위해.

제안 방법

• 첫 번째 프레임의 레이블링을 조건부 사전 지식으로 사용하여 각 비디오의 타당한 미래 프레임을 합성한다.
• 초기 레이블링에서 유도된 시간적 일관성과 물체 운동 사전 지식을 활용해 도메인 내 훈련 데이터를 생성한다.
• 합성 데이터에서 외관 및 운동 모델을 엔드 투 엔드로 훈련시켜 ImageNet 사전 훈련 없이도 효과적인 특징 학습을 가능하게 한다.
• 같은 합성 데이터를 사용해 후처리 모듈을 미세 조정하여 추적의 강인성을 향상시킨다.
• 비디오당 하나의 레이블링 프레임만을 단일 감독 신호로 사용하여 전체 비디오 레이블링이 필요 없도록 한다.
• 물체 정체성과 운동의 타당성을 유지하는 데이터 증강 기법을 적용하여 프레임 생성 과정에 활용한다.

실험 결과

연구 질문

• RQ1 비디오당 단일 레이블링 프레임만으로도 고품질 다중 객체 추적을 달성할 수 있는가?
• RQ2 도메인 내 데이터 생성이 추적 성능 측면에서 일반 도메인 데이터보다 우수한가?
• RQ3 최신 기술 수준의 추적 성능를 확보하기 위해 대규모 레이블링 데이터가 필수적인가?
• RQ4 합성 데이터 생성이 추적 모델에서 ImageNet 사전 훈련에 대한 의존도를 줄일 수 있는가?
• RQ5 도메인 특화 데이터 증강이 다양한데 도메인 외부인 데이터보다 더 우수한 일반화 성능를 낼 수 있는가?

주요 결과

• 제안된 방법은 비디오당 단일 레이블링 프레임만을 사용하여 세 가지 표준 다중 객체 추적 벤치마크에서 최신 기술 수준 성능를 달성한다.
• 도메인 특화 훈련 데이터는 조밀한 데이터 크기임에도 불구하고 대규모이지만 도메인 외부인 데이터셋보다 성능이 뚜렷이 향상된다.
• ImageNet 사전 훈련 없이도 경쟁적인 성능를 달성하여 도메인 내 데이터가 특징 학습에 효과적임을 입증한다.
• 경쟁 방법들보다 레이블링 프레임을 20배에서 100배 적게 사용함에도 불구하고 우수하거나 유사한 추적 정확도를 확보한다.
• 더 많은 훈련 데이터가 항상 더 좋은 결과를 낼 것이라는 가정을 도전하며, 데이터의 도메인 관련성이 양보다 더 중요함을 보여준다.
• 단일 프레임에서의 합성 데이터 생성은 후처리 구성 요소의 효과적 튜닝을 가능하게 하여 추적 강인성을 추가로 향상시킨다.