[논문 리뷰] Blind Video Temporal Consistency via Deep Video Prior

Chenyang Lei, Yazhou Xing외 1명|arXiv (Cornell University)|2020. 10. 22.

Image Enhancement Techniques참고 문헌 42인용 수 14

한 줄 요약

이 논문은 딥 비디오 프리오르를 활용하여 단일 비디오에서 빌드된 컨volution 네트워크를 통해 옵티컬 플로우나 수작업으로 설계된 정규화에 의존하지 않고 빈도에 관계없이 비디오의 시간적 일관성을 강제하는 새로운 일반 목적의 방법을 제안한다. 이 방법은 다중 모달 불일관성 문제를 해결하기 위해 반복적으로 재가중하는 훈련 전략을 사용하며, 7개의 비디오 작업 전반에서 최고 수준의 성능을 달성하여 뛰어난 시간적 일관성과 시각적 품질을 확보한다.

ABSTRACT

Applying image processing algorithms independently to each video frame often leads to temporal inconsistency in the resulting video. To address this issue, we present a novel and general approach for blind video temporal consistency. Our method is only trained on a pair of original and processed videos directly instead of a large dataset. Unlike most previous methods that enforce temporal consistency with optical flow, we show that temporal consistency can be achieved by training a convolutional network on a video with the Deep Video Prior. Moreover, a carefully designed iteratively reweighted training strategy is proposed to address the challenging multimodal inconsistency problem. We demonstrate the effectiveness of our approach on 7 computer vision tasks on videos. Extensive quantitative and perceptual experiments show that our approach obtains superior performance than state-of-the-art methods on blind video temporal consistency. Our source codes are publicly available at github.com/ChenyangLEI/deep-video-prior.

연구 동기 및 목표

• 독립적인 프레임 단위 이미지 알고리즘에 의해 처리된 비디오에서 발생하는 시간적 불일관성, 즉 깜빡임과 시각적 아티팩트 문제를 해결하기 위해.
• 특정 작업에 맞게 재학습이 필요 없이 어떤 이미지 처리 알고리즘에도 적용 가능한 일반 목적의 프레임워크를 개발하기 위해.
• 옵티컬 플로우나 명시적 시간 정규화에 의존하지 않고, CNN 훈련을 통해 암묵적인 비디오 프리오르를 사용하여 시간적 일관성을 확보하기 위해.
• 유사한 프레임이 여러 가지 가능한 모드 중에서 서로 다른 출력을 생성하는 어려운 다중 모달 불일관성 문제를 효과적으로 해결하기 위해.
• 최고 수준의 방법들과 비교해 성능 저하가 최소화된 높은 시간적 일관성을 달성하기 위해.

제안 방법

• 이 방법은 외부 데이터셋을 사용하지 않고, 원본 비디오와 처리된 비디오만을 입력으로 사용하여 단일 테스트 비디오에서부터 컨volution 네트워크를 처음부터 훈련한다.
• 네트워크 아키텍처의 인덕티브 바이어스를 활용하여, 비디오 프레임 간 동일한 공간 패치에 대해 일관된 출력을 생성하도록 훈련하여 시간적 일관성을 강제한다.
• 핵심 아이디어는 딥 이미지 프리오르(DIP)에서 영감을 얻었으며, 네트워크 아키텍처 자체가 과적합되기 전에 자연스러운 비디오 콘텐츠를 재구성하는 데 사용되는 프리오르 역할을 한다.
• 다중 모달 불일관성을 해결하기 위해 반복적으로 재가중하는 훈련(IRT) 전략을 도입하여, 프레임 간에 단일한 주요 모드를 선택한다.
• 훈련 과정은 데이터 피드백성과 시간적 일관성 간의 균형을 유지하며, 작은 프레임 서브셋에 대한 검증을 기반으로 조기 정지 전략을 적용한다.
• 이 프레임워크는 아키텍처에 종속되지 않으며, U-Net, FCN, ResUnet 등 다양한 CNN 아키텍처에 적용 가능하며, 50프레임 비디오의 경우 프레임당 약 2초의 추론 시간을 차지한다.

실험 결과

연구 질문

• RQ1 단일 비디오에서만 훈련된 컨볼루션 네트워크가 명시적인 옵티컬 플로우나 워핑 제약 없이 암묵적으로 시간적 일관성을 학습할 수 있는가?
• RQ2 특히, CNN 아키텍처의 인덕티브 바이어스 — 즉, 깜빡임 아티팩트에 과적합되기 전에 자연스러운 콘텐츠를 재구성할 수 있는 능력 — 을 활용하여 시간적 일관성에 대한 딥 비디오 프리오르로 활용할 수 있는가?
• RQ3 유사한 프레임이 다수의 가능한 모드에서 서로 다른 출력을 생성하는 다중 모달 불일관성 문제를 빈도 없는 비디오 처리 환경에서 효과적으로 해결할 수 있는가?
• RQ4 이 방법은 작업별 적응 없이 다양한 비디오 처리 작업 전반에 걸쳐 얼마나 잘 일반화되는가?
• RQ5 데이터 피드백성과 시간적 일관성 사이의 상호 교환 관계는 무엇이며, 훈련 중에 이를 효과적으로 관리할 수 있는가?

주요 결과

• 제안된 방법은 비디오 색상화, 노이즈 제거, 초해상도 등 7개의 다양한 컴퓨터 비전 작업 전반에서 최고 수준의 방법들과 비교해 뛰어난 시간적 일관성을 확보한다.
• 반복적으로 재가중하는 훈련(IRT) 전략은 다중 모달 불일관성을 효과적으로 해결하여, 프레임 간에 단일한 시각적으로 일관된 모드를 선택한다.
• 시간적 일관성은 25~50 에포크 이후에 안정화되며, 다양한 길이와 운동 수준을 가진 비디오에서 잘 작동한다.
• 대규모 사전 훈련이나 외부 데이터셋이 필요 없으며, 훈련에 테스트 비디오만을 사용한다.
• 이 방법은 U-Net, FCN, ResUnet 등 다양한 CNN 아키텍처에서 효과적으로 작동함을 보이며 강력한 일반화 능력을 입증한다.
• 더 긴 추론 시간(예: 50프레임 비디오의 경우 프레임당 약 2초)에도 불구하고, 플로우 기반 베이스라인에 비해 더 뛰어난 시각적 품질과 일관성을 확보한다.