[논문 리뷰] Lucid Data Dreaming for Video Object Segmentation

Anna Khoreva, Rodrigo Benenson외 3명|arXiv (Cornell University)|2017. 03. 28.

Video Surveillance and Tracking Methods참고 문헌 79인용 수 24

한 줄 요약

이 논문은 단일 레이블링된 첫 번째 프레임에서부터 실제적인 미래 프레임을 생성함으로써 도메인 내 훈련 데이터를 합성하는 'lucid data dreaming'이라는 방법을 제안한다. ImageNet 사전 훈련 없이 100장 이하의 레이블링된 프레임만을 사용하여 여러 데이터셋에서 최신 기술 성능을 달성하며, 이는 도메인 특화 데이터가 다각도로 다양하지만 큰 데이터셋보다 더 효과적임을 보여준다.

ABSTRACT

Convolutional networks reach top quality in pixel-level video object segmentation but require a large amount of training data (1k~100k) to deliver such results. We propose a new training strategy which achieves state-of-the-art results across three evaluation datasets while using 20x~1000x less annotated data than competing methods. Our approach is suitable for both single and multiple object segmentation. Instead of using large training sets hoping to generalize across domains, we generate in-domain training data using the provided annotation on the first frame of each video to synthesize ("lucid dream") plausible future video frames. In-domain per-video training data allows us to train high quality appearance- and motion-based models, as well as tune the post-processing stage. This approach allows to reach competitive results even when training from only a single annotated frame, without ImageNet pre-training. Our results indicate that using a larger training set is not automatically better, and that for the video object segmentation task a smaller training set that is closer to the target domain is more effective. This changes the mindset regarding how many training samples and general "objectness" knowledge are required for the video object segmentation task.

연구 동기 및 목표

• 영상 객체 분할을 위한 대규모이고 다양한 훈련 데이터셋에 대한 의존도를 줄이기 위해.
• 픽셀 수준의 영상 분할에 필요한 레이블링 비용을 줄이기 위해 필요한 레이블링 프레임 수를 최소화하기 위해.
• 도메인 특화 데이터 합성 기법이 다양한 도메인의 대규모 데이터셋에 비해 성능을 뛰어넘을 수 있는지 탐색하기 위해.
• 단일 레이블링 프레임과 ImageNet 사전 훈련 없이도 고성능 영상 객체 분할을 가능하게 하기 위해.
• 데이터 양보다 도메인 내 데이터의 질을 우선시함으로써 영상 분할의 데이터 효율성 패러다임을 재정의하기 위해.

제안 방법

• 첫 번째 프레임의 마스크와 광학 흐름을 사용하여 타당한 미래 영상 프레임을 합성하여 실제적인 훈련 데이터를 생성한다.
• 합성된 도메인 내 데이터로 컨volutional 네트워크를 훈련시키며, 외관과 운동 사전 지식을 활용해 분할 성능을 향상시킨다.
• 모델 아키텍처에서 RGB 특징 외에 광학 흐름과 의미적 세그먼테이션 사전 지식을 보완 신호로 통합한다.
• 합성된 데이터를 기반으로 자동으로 튜닝된 CRF 기반 후처리를 적용하여 예측을 정밀하게 다듬는다.
• 추론 중에 시간적 일관성 모듈을 적용하여 프레임 간 일관성을 향상시킨다.
• RGB, 흐름, 의미적 특징을 통합한 다중 스트림 네트워크 아키텍처를 엔드 투 엔드로 훈련시켜 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 현재 기술보다 훨씬 적은 레이블링 프레임 수로도 영상 객체 분할이 최신 기술 성능을 달성할 수 있는가?
• RQ2 'lucid dreaming'을 통해 도메인 내 훈련 데이터를 생성하는 것이 다양한 도메인의 대규모 데이터셋을 사용하는 것보다 성능이 뛰어나게 되는가?
• RQ3 단일 레이블링 프레임으로만 훈련된 모델이 ImageNet 사전 훈련 없이도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ4 합성된 데이터와 함께 운동 및 의미적 사전 지식이 성능에 기여하는 정도는 어떠한가?
• RQ5 분할 정확도에 영향을 주는 요소로 데이터 도메인 일치성과 데이터 양 중 어느 것이 더 중요한가?

주요 결과

• 제안된 방법은 기존 연구 대비 20배에서 1000배까지 데이터 요구량을 줄이며, 3개의 벤치마크 데이터셋에서 최신 기술 성능을 달성한다.
• 단일 레이블링 프레임과 ImageNet 사전 훈련 없이도 모델이 경쟁 가능한 성능을 내며, 극히 적은 데이터로도 강력한 일반화 능력을 보여준다.
• 광학 흐름과 의미적 사전 지식을 추가할수록 성능 향상이著명하며, 앙상블 모델을 사용할 경우 전역 평균 IoU에서 2.7%p 향상된다.
• 추론 중 시간적 일관성 처리 단계를 적용함으로써 성능이 추가로 향상되어 전역 평균 IoU가 65.2에서 66.6으로 상승한다.
• 오류 분석 결과, 시각적으로 유사한 객체가 존재할 경우 객체 분할에 어려움이 있으며, 이는 레이블 전환 또는 오염 현상으로 이어져 개별 객체 식별 기능이 필요함을 시사한다.
• 결과적으로, 더 큰 훈련 세트가 항상 더 좋은 것은 아니며, 도메인 특화로 합성된 데이터가 일반적인 대규모 데이터셋보다 뛰어난 성능을 낸다.