[논문 리뷰] Unsupervised Bi-directional Flow-based Video Generation from one Snapshot

Lu Sheng, Junting Pan외 4명|arXiv (Cornell University)|2019. 03. 03.

Advanced Vision and Imaging참고 문헌 39인용 수 6

한 줄 요약

이 논문은 단일 이미지에서 이중 방향 흐름 예측을 사용하여 고품질의 사진처럼 생긴 영상 시퀀스를 생성하는 비지도, 엔드 투 엔드 영상 생성 프레임워크인 ImagineFlow를 제안한다. 사이클 일관성 있는 이중 방향 흐름과 망막 인식 합성 기반으로, 외부 흐름 감독 없이도 왜곡 및 망막 문제를 제거하여 이전 방법보다 정량적·정성적 평가에서 뛰어난 성능을 보인다.

ABSTRACT

Imagining multiple consecutive frames given one single snapshot is challenging, since it is difficult to simultaneously predict diverse motions from a single image and faithfully generate novel frames without visual distortions. In this work, we leverage an unsupervised variational model to learn rich motion patterns in the form of long-term bi-directional flow fields, and apply the predicted flows to generate high-quality video sequences. In contrast to the state-of-the-art approach, our method does not require external flow supervisions for learning. This is achieved through a novel module that performs bi-directional flows prediction from a single image. In addition, with the bi-directional flow consistency check, our method can handle occlusion and warping artifacts in a principled manner. Our method can be trained end-to-end based on arbitrarily sampled natural video clips, and it is able to capture multi-modal motion uncertainty and synthesizes photo-realistic novel sequences. Quantitative and qualitative evaluations over synthetic and real-world datasets demonstrate the effectiveness of the proposed approach over the state-of-the-art methods.

연구 동기 및 목표

• 쌍체 영상 데이터나 외부 흐름 감독에 의존하지 않고 단일 정적 이미지에서 고품질의 사진처럼 생긴 영상 시퀀스를 생성하기 위해.
• 특히 망막 또는 탈도메인 영역에서 시각적 왜곡과 왜곡 아티팩트를 해결하기 위해.
• 단일 이미지에서 비지도 방식으로 콘텐츠 인식형 다양성 있는 운동 패턴을 학습함으로써 다중 모달 운동 불확실성을 모델링하기 위해.
• 이중 방향 흐름 예측에서의 사이클 일관성에 기반해 망막과 왜곡 아티팩트를 강력하고 체계적으로 다루기 위해.
• 비용이 많이 드는 진짜 흐름 애너테이션을 피하기 위해 자연적으로 캡처된 영상 클립만을 사용해 엔드 투 엔드 학습을 수행하기 위해.

제안 방법

• 재파arameterization을 사용한 변동성 오토인코더 프레임워크를 활용해 단일 이미지에서 정방향 및 역방향 흐름 필드를 모두 예측하는 이중 방향 흐름 생성기 제안.
• 외부 감독 없이도 흐름 학습을 정규화하기 위해 정방향 및 역방향 흐름 간의 사이클 일관성을 자가 감독 신호로 구현.
• 흐름 사이클 일관성에서 유도된 가시성 마스크와 이중선형 왜곡 결과를 융합하는 학습 가능한 매핑 모듈을 사용해 새로운 프레임을 합성.
• 정방향 및 역방향 흐름 사이클이 원본 이미지를 재구성하지 못하는 영역을 식별함으로써 망막 감지를 수행하고, 흐름 전파 영역에서 선택적 픽셀 환영을 가능하게 함.
• 최근접 이웃 보간을 최대풀링 대체로 사용하는 스킵 연결이 있는 VGG-19 기반 인코더-디코더 네트워크를 사용해 망막 인식 영상 합성.
• 대비 복원 및 적대적 손실을 활용해 시각적 정밀도를 향상시키기 위해 자연 영상 클립만을 사용해 전체 모델을 엔드 투 엔드로 학습.

실험 결과

연구 질문

• RQ1 단일 이미지에서 완전히 비지도 방식으로 이중 방향 흐름 예측을 학습하면서도 흐름 일관성과 왜곡 아티팩트를 줄일 수 있는가?
• RQ2 진짜 마스크에 의존하지 않고도 단일 이미지 영상 생성 중 망막을 체계적으로 감지하고 처리할 수 있는가?
• RQ3 엔드 투 엔드 비지도 프레임워크가 외부 흐름 감독 없이도 다양하고 사진처럼 생긴 영상 시퀀스를 생성할 수 있는가?
• RQ4 이중 방향 흐름에서의 사이클 일관성은 단일 방향 흐름 기반 방법에 비해 운동의 자연스러움과 시각적 품질을 어느 정도 향상시키는가?
• RQ5 제안된 망막 인식 합성 모듈은 표준 왜곡 기반 생성 방식에 비해 탈도메인 및 시각적 아티팩트 처리에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 합성 및 실세계 벤치마크에서 최신 기술 수준을 달성하며, MoCoGAN, VGAN, Visual Dynamics, FRGAN 등의 방법보다 정량적 지표와 시각적 품질 모두에서 뛰어난 성능을 보였다.
• 제거 분석 결과, 사이클 일관성이 있는 이중 방향 흐름 학습이 단일 방향 흐름 기반 베이시스라인에 비해 왜곡 아티팩트를 크게 줄이고 재구성 정밀도를 향상시킴을 확인하였다.
• 모델은 단일 이미지에서 다양하고 타당한 영상 시퀀스를 성공적으로 생성하여 잠재 운동 변수의 스토케스틱 샘플링을 통해 다중 모달 운동 불확실성을 포착하였다.
• 망막 인식 합성은 특히 장기 영상 시퀀스에서 더 현실적인 배경 재구성과 왜곡 복제의 원활한 복구를 가능하게 하였다.
• 외부 흐름 감독 없이도 고품질 영상 생성을 달성하여 자가 감독 사이클 일관성이 흐름 학습에 효과적임을 입증하였다.
• 정량적 결과는 표준 벤치마크에서 FVD, FID, LPIPS 점수에서 뚜렷한 향상을 보였으며, 이전 비지도 방법 대비 FID 점수는 최대 15% 감소하였다.