[논문 리뷰] Video Frame Synthesis using Deep Voxel Flow

Ziwei Liu, Raymond A. Yeh외 3명|arXiv (Cornell University)|2017. 02. 08.

Advanced Vision and Imaging인용 수 22

한 줄 요약

이 논문은 3D 바이트 플로우—프레임 간의 시공간 광학 흐름—를 학습하여 기존 프레임에서 픽셀 값을 복사하고 보간함으로써 중간 또는 향후 비디오 프레임을 합성하는 완전 컨volution형, 비지도 학습 딥러닝 방법인 딥 바이트 플로우(DVF)를 제안한다. 이 방법은 비디오 보간 및 외삽에서 최신 기술 수준의 성능을 달성하여 광학 흐름 및 종단간 생성 컨volution 신경망(CNN)보다 더 선명하고 시간적으로 매끄러운 출력을 생성하며, 사용자 연구를 통해 실제 데이터와 동등한 시각적 품질을 확인하였다.

ABSTRACT

We address the problem of synthesizing new video frames in an existing video, either in-between existing frames (interpolation), or subsequent to them (extrapolation). This problem is challenging because video appearance and motion can be highly complex. Traditional optical-flow-based solutions often fail where flow estimation is challenging, while newer neural-network-based methods that hallucinate pixel values directly often produce blurry results. We combine the advantages of these two methods by training a deep network that learns to synthesize video frames by flowing pixel values from existing ones, which we call deep voxel flow. Our method requires no human supervision, and any video can be used as training data by dropping, and then learning to predict, existing frames. The technique is efficient, and can be applied at any video resolution. We demonstrate that our method produces results that both quantitatively and qualitatively improve upon the state-of-the-art.

연구 동기 및 목표

• 복잡한 운동 상황에서 전통적 광학 흐름이 실패하고 딥 생성 모델이 흐릿한 결과를 낼 때 발생하는 비디오 프레임 합성—보간 및 외삽—도전 과제를 해결한다.
• 지표 흐름 감독에 의존하는 광학 흐름의 한계를 극복하기 위해 실제 흐름 데이터가 필요한 비용과 확장성 문제를 피한다.
• 인간의 주석 없이도 어떤 비디오라도 자기지도 학습 데이터로 사용할 수 있도록 종단간 딥러닝의 힘을 활용하여 고품질의 프레임을 합성한다.
• 학습된 3D 바이트 플로우를 통해 가까운 프레임에서 픽셀을 복사함으로써 직접 노이즈에서 유추하는 것보다 시간적 일관성과 시각적 품질을 향상시킨다.
• 재조정 없이도 다양한 비디오 콘텐츠와 해상도에 일반화할 수 있도록 훈련한다.

제안 방법

• 비디오에서 프레임을 제거하고 3D 바이트 플로우 레이어를 사용하여 이를 재구성함으로써 비지도 방식으로 완전 컨volution 신경망을 훈련한다.
• 각 픽셀에 대해 공간 및 시간 차원을 모두 포함한 3D 광학 흐름 벡터를 계산하는 바이트 플로우 레이어를 도입하여 소스 픽셀 값의 삼선형 보간을 가능하게 한다.
• 예측된 프레임과 실제 제거된 프레임 간의 픽셀 단위 차이를 최소화하는 복원 손실을 사용하여 광학 흐름 감독 없이도 종단간 훈련이 가능하도록 한다.
• 일般적으로 두 개의 입력 프레임으로 구성된 3D 비디오 볼륨을 대상으로 삼선형 보간을 적용하여 학습된 흐름 벡터에 기반한 가중치 혼합으로 출력 픽셀을 생성한다.
• 자체 훈련 데이터로 UCF-101 데이터셋을 사용하고, 재조정 없이 다양한 실제 세계의 HD 비디오에서 테스트하여 모델의 일반화 능력을 확보한다.
• 완전 컨볼루션 아키텍처 덕분에 임의의 해상도 추론이 가능하며, 확장 가능한 구현을 지원한다.

실험 결과

연구 질문

• RQ1 3D 바이트 플로우를 통해 기존 프레임에서 픽셀을 복사함으로써 광학 흐름 감독 없이도 고품질 비디오 프레임을 학습할 수 있는 딥 네트워크가 가능한가?
• RQ2 근처 프레임에서 픽셀 값을 흐름으로 학습하는 것이 CNN에 의해 직접 노이즈에서 추측하는 것보다 더 선명하고 시간적으로 더 일관된 결과를 낼 수 있는가?
• RQ3 자기지도 학습 및 종단간 훈련된 모델이 재조정 없이 다양한 비디오 콘텐츠와 해상도에 일반화될 수 있는가?
• RQ4 합성된 프레임의 시각적 품질이 실제 데이터와 기존 최신 기술인 EpicFlow와 비교해 어떻게 되는가?
• RQ5 실패 유형은 무엇이며, 반복적 또는 모호한 장면에서 더 강력한 정규화를 통해 이를 완화할 수 있는가?

주요 결과

• 제안된 딥 바이트 플로우(DVF) 방법은 광학 흐름 기반 및 종단간 생성 컨볼루션 신경망(CNN) 방법보다 훨씬 더 선명하고 시간적으로 더 일관된 비디오 프레임을 생성한다.
• 사용자 연구 결과 DVF는 EpicFlow보다 유의미하게 선호되며(p < 0.00001), 테스트 시퀀스의 절반에서 실제 데이터와 시각적으로 구분되지 않는 결과를 보였다.
• DVF와 실제 데이터가 구분되지 않는다는 귀무가설에 대한 p-값은 0.838로, 시각적 품질에서 통계적으로 유의미한 차이가 없음을 나타낸다.
• xt-slice의 시각적 분석 결과 DVF는 부드러운 시간적 전이를 유지하는 반면, EpicFlow는 흐름 벡터 길이가 0인 경우로 인해 갈라진, 불연속적인 운동을 보였다.
• 재조정 없이도 실제 세계의 HD 비디오(1080×720, 30 fps)에 잘 일반화되어 다양한 콘텐츠와 운동 유형에 대해 강건함을 입증하였다.
• 반복 패턴이 있는 장면(예: 'Park' 시퀀스)에서는 모호한 픽셀 대응으로 인해 잘못된 복사가 발생하는 실패 케이스가 나타나며, 이는 더 강력한 정규화 필요성을 시사한다.