[논문 리뷰] Lucid Data Dreaming for Object Tracking

Anna Khoreva, Rodrigo Benenson외 3명|arXiv (Cornell University)|2017. 01. 01.

Advanced Neural Network Applications인용 수 86

한 줄 요약

이 논문은 객체 추적에서 애너테이션 요구를 극도로 줄이기 위해 단일 애너테이션된 첫 프레임에서 도메인 내 비디오 프레임을 합성하는 'Lucid Data Dreaming'이라는 훈련 전략을 소개한다. 각 비디오의 훈련을 위해 현실적인 미래 프레임을 생성함으로써, 이 방법은 이전 방법보다 20배에서 100배 적은 데이터로 세 가지 벤치마크에서 최신 기술 성능(SOTA)을 달성하며, ImageNet 사전 훈련이 필요 없고 도메인 불일치가 있는 더 큰 데이터셋보다도 뛰어나다.

ABSTRACT

Convolutional networks reach top quality in pixel-level object tracking but require a large amount of training data (1k ~ 10k) to deliver such results. We propose a new training strategy which achieves state-of-the-art results across three evaluation datasets while using 20x ~ 100x less annotated data than competing methods. Instead of using large training sets hoping to generalize across domains, we generate in-domain training data using the provided annotation on the first frame of each video to synthesize ("lucid dream") plausible future video frames. In-domain per-video training data allows us to train high quality appearance- and motion-based models, as well as tune the post-processing stage. This approach allows to reach competitive results even when training from only a single annotated frame, without ImageNet pre-training. Our results indicate that using a larger training set is not automatically better, and that for the tracking task a smaller training set that is closer to the target domain is more effective. This changes the mindset regarding how many training samples and general "objectness" knowledge are required for the object tracking task.

연구 동기 및 목표

• 객체 추적에서 대규모이고 다양한 훈련 데이터셋에 대한 의존도를 줄이기 위해 도메인 특화 훈련 데이터를 생성하는 것.
• 비디오당 단일 애너테이션된 프레임만을 사용하여 추적 성능를 향상시키고, ImageNet 사전 훈련이 필요 없도록 하는 것.
• 작은, 도메인 내 훈련 세트가 더 큰 일반 도메인 데이터셋보다 객체 추적에서 더 우수한 성능을 내는지 조사하는 것.
• 최소한의 인간 애너테이션 데이터로 외관 및 운동 기반 모델의 효과적인 훈련을 가능하게 하는 데이터 합성 전략을 개발하는 것.

제안 방법

• 첫 프레임 애너테이션을 조건 신호로 사용하여 각 비디오의 타당한 미래 프레임을 생성함으로써, 대상 도메인에 맞는 합성 훈련 데이터를 만든다.
• 합성된 프레임을 사용해 추적 프레임워크 내에서 외관 모델과 운동 모델을 종단 간(end-to-end)으로 훈련시켜 도메인 특화 특징 학습을 가능하게 한다.
• 생성된 도메인 내 데이터를 사용해 후처리 단계를 비디오별로 미세조정할 수 있으며, 이는 추적의 강건성을 향상시킨다.
• 시간적 일관성과 시각적 타당성을 활용하여 현실적인 미래 프레임을 생성하는 조건부 비디오 합성 모델을 사용해 데이터 생성을 수행한다.
• 각 비디오별로 확장 가능한 훈련 파이프라인을 설계하여, 최소한의 애너테이션으로 새로운 추적 시퀀스에 효율적으로 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 단일 애너테이션된 프레임에서 도메인 내 데이터 합성을 통해, 대규모 일반 도메인 데이터셋보다 뛰어난 추적 성능를 달성할 수 있는가?
• RQ2 훈련 데이터 크기를 줄이고 도메인 일치도를 높임으로써 추적 정확도가 향상되는가?
• RQ3 합성된 도메인 특화 데이터를 사용하면 ImageNet 사전 훈련 없이도 고품질의 추적 성능를 달성할 수 있는가?
• RQ4 데이터 합성 전략이 추적 시스템에서 외관 모델과 운동 모델 학습 향상에 얼마나 효과적인가?

주요 결과

• 제안된 방법은 이전 방법보다 20배에서 100배 적은 데이터로 세 가지 표준 추적 벤치마크에서 최신 기술 성능(SOTA)을 달성하며, 비디오당 1~10개의 애너테이션된 프레임만으로도 가능하다.
• 훈련 데이터가 대상 도메인과 불일치할 경우, 대규모 데이터셋으로 훈련된 모델보다 성능이 뛰어나, 도메인 일치도가 데이터 크기보다 더 중요함을 입증한다.
• 단일 애너테이션된 프레임에서 출발해 ImageNet 사전 훈련 없이도 경쟁 가능한 성능를 달성한다.
• 제거 분석(ablation study) 결과, 도메인 내 데이터 합성이 도메인 이격이 있는 대규모이고 다양한 데이터셋을 사용하는 것보다 더 우수한 일반화 성능를 보임을 확인했다.