[논문 리뷰] Robust Video Synchronization using Unsupervised Deep Learning.

Ido Freeman, Patrick Wieschollek외 1명|arXiv (Cornell University)|2016. 10. 19.

Advanced Vision and Imaging참고 문헌 21인용 수 2

한 줄 요약

이 논문은 인간의 레이블이나 애너테이션 없이도 강건하고 비선형적인 비디오 동기화를 위한 비지도 딥러닝 방법을 제안한다. 비디오 콘텐츠 자체에서 의미 있는 학습 예제를 추출하기 위해 수정된 다익스트라 알고리즘 기반의 반복적 방법을 활용함으로써, 기상, 조명, 계절 등의 다양한 시각 조건에서도 정확한 시간적 정렬을 달성하며, 수개월 간격으로 촬영된 클립들을 조합할 수 있게 한다.

ABSTRACT

Aligning video sequences is a fundamental yet still unsolved component for a wide range of applications in computer graphics and vision. Especially when targeting video clips containing an extensively varying appearance. Using recent advances in deep learning, we present a scalable and robust method for computing optimal non-linear temporal video alignments. The presented algorithm learns to retrieve and match similar video frames from input sequences without any human interaction or additional annotations in an unsupervised fashion. An iterative scheme is presented which leverages on the nature of the videos themselves in order to remove the need for labels. We incorporate a variation of Dijkstra's shortest-path algorithm for extracting meaningful training examples as well as a robust video alignment. While previous methods assume similar settings as weather conditions, season and illumination, our approach is able to robustly align videos regardless of such noise. This provides new ways of compositing non-seasonal video clips from data recorded months apart.

연구 동기 및 목표

• 기상, 조명, 계절 변화로 인한 외관의 극심한 변동성으로 인해 발생하는 비디오 시퀀스 정렬 과제를 해결하기 위해.
• 비디오 동기화 작업에서 인간의 애너테이션 또는 레이블 데이터가 필요 없도록 하기 위해.
• 비선형 시간 정렬을 위한 확장 가능하고 강건한 방법을 개발하기 위해.
• 매우 다른 외관을 보이는 비디오 클립들을 수개월 간격으로 촬영한 경우에도 조합이 가능하도록 하기 위해.

제안 방법

• 이 방법은 인간의 감독이나 애너테이션 없이도 입력 비디오 시퀀스 간 유사한 프레임을 매칭하는 데에 학습하는 비지도 학습 프레임워크를 사용한다.
• 비디오의 내재된 시간적 및 시각적 구조를 활용하여 신뢰할 수 있는 학습 예제를 생성하기 위해 반복 최적화 기반의 방법을 채택한다.
• 비디오 시퀀스에서 의미 있는 프레임 대응 관계를 식별하고 추출하기 위해 다익스트라 알고리즘의 변형을 사용한다.
• 비디오 콘텐츠 내의 시간적 일관성과 시각적 유사성을 활용하여, 알고리즘이 동적으로 매칭을 개선한다.
• 조명 변화, 계절 변화, 기상 조건 변화 등의 외관 변화에 강건하도록 설계되어 있다.
• 외부 감독 없이도 비디오 데이터 자체만을 사용하여 비디오 정렬을 위한 딥 네트워크를 엔드 투 엔드로 훈련시킬 수 있도록 한다.

실험 결과

연구 질문

• RQ1 복잡한 시각 환경에서 인간의 애너테이션이나 레이블 데이터 없이도 비디오 동기화를 달성할 수 있는가?
• RQ2 딥러닝 모델은 외관 변화가 심한 비디오 시퀀스로부터 의미 있는 프레임 대응 관계를 어떻게 학습할 수 있는가?
• RQ3 내재된 비디오 구조에 기반한 비지도 방법이 비디오 정렬에서 감독 또는 약한 감독 방법보다 얼마나 뛰어난 성능을 내는가?
• RQ4 장기간의 시간 간격과 다양한 시각 조건에서도 비선형 시간 정렬을 신뢰성 있게 계산할 수 있는가?

주요 결과

• 이 방법은 기상, 조명, 계절 등 극명하게 다른 시각 조건에서 촬영된 비디오 클립들 간에 정확한 비디오 동기화를 성공적으로 달성한다.
• 비지도 학습 방식으로 인해 고비용의 인간 애너테이션 또는 외부 감독이 필요 없다.
• 수정된 다익스트라 알고리즘의 활용으로 비디오 콘텐츠에서 강건하게 학습 예제를 추출할 수 있었으며, 이는 정렬 품질 향상에 기여했다.
• 수개월 간격으로 촬영된 비시즌성 비디오 클립들 간의 정렬에서도 알고리즘이 확장 가능하고 강건함을 입증했다.
• 이전의 방법들이 유사한 환경 조건을 전제로 하였던 것에 비해, 본 방법은 외관 변화 처리에서 뛰어난 성능을 보였다.
• 비디오 자기 일관성에 기반한 반복적 프로세스가 도전적인 시각 환경에서의 프레임 매칭 신뢰도를 크게 향상시켰다.