[論文レビュー] Blind Video Temporal Consistency via Deep Video Prior

Chenyang Lei, Yazhou Xing+1 more|arXiv (Cornell University)|Oct 22, 2020

Image Enhancement Techniques参考文献 42被引用数 14

ひとこと要約

この論文は、深層動画事前分布（Deep Video Prior）を活用することで、光学フローまたは手作業による正則化に依存せずに、1つの動画からスクラッチで訓練された畳み込みニューラルネットワークを用いて、盲目的な動画時間的整合性を実現する、画期的で汎用的な手法を提案する。このアプローチは、複数のモードの不整合を解消する反復的重み付け訓練戦略を用いることで、7つの動画処理タスクで最先端の性能を達成し、優れた時間的整合性と知覚的品質を実現する。

ABSTRACT

Applying image processing algorithms independently to each video frame often leads to temporal inconsistency in the resulting video. To address this issue, we present a novel and general approach for blind video temporal consistency. Our method is only trained on a pair of original and processed videos directly instead of a large dataset. Unlike most previous methods that enforce temporal consistency with optical flow, we show that temporal consistency can be achieved by training a convolutional network on a video with the Deep Video Prior. Moreover, a carefully designed iteratively reweighted training strategy is proposed to address the challenging multimodal inconsistency problem. We demonstrate the effectiveness of our approach on 7 computer vision tasks on videos. Extensive quantitative and perceptual experiments show that our approach obtains superior performance than state-of-the-art methods on blind video temporal consistency. Our source codes are publicly available at github.com/ChenyangLEI/deep-video-prior.

研究の動機と目的

• 独立したフレームごとの画像処理アルゴリズムによって処理された動画における時間的不整合（ちらつきや視覚的アーチファクト）を是正すること。
• タスク固有の再訓練が不要な汎用フレームワークを構築すること。
• 光学フローまたは明示的な時間的正則化に依存せず、CNNの学習を通じて暗黙的な動画事前分布を用いること。
• 類似したフレームが複数の妥当なモードから異なる出力を生成するという、困難な複数モード不整合問題を効果的に解消すること。
• 最先端手法と比較して最小限の性能低下で高い時間的整合性を達成すること。

提案手法

• 本手法は、外部データセットを一切使用せず、唯一のテスト動画とその処理済みバージョンのみを入力として、スクラッチから畳み込みニューラルネットワークを訓練する。
• ネットワーク構造自体のインダクティブバイアスを活用し、時間的に整合する出力を、複数のフレーム間で対応する空間的パッチに対して一貫して生成するように訓練することで、時間的整合性を強制する。
• 基本的なアイデアは、Deep Image Prior（DIP）に由来し、ネットワーク構造そのものが、ちらつきアーチファクトに過学習する前に自然な動画コンテンツを再構築できるという事前分布として機能することに着目している。
• 反復的重み付け訓練（IRT）戦略を導入し、フレーム間で一貫した主要モードを選択することで、複数モード不整合を解消する。
• データ適合性と時間的整合性のバランスをとる訓練プロセスであり、小さなフレームサブセットの検証に基づいて早期停止を行う。
• アーキテクチャに依存しないフレームワークであり、U-Net、FCN、ResUnetなどのさまざまなCNNアーキテクチャに適用可能で、50フレームの動画では1フレームあたり約2秒の推論時間がかかる。

実験結果

リサーチクエスチョン

• RQ1 1つの動画のみで学習された畳み込みニューラルネットワークが、明示的な光学フローまたはワープ制約なしに、時間的整合性を暗黙的に学習できるか？
• RQ2 CNNアーキテクチャのインダクティブバイアス——特に、ちらつきアーチファクトに過学習する前に自然なコンテンツを再構築できる能力——を、時間的整合性のための深層動画事前分布として活用できるか？
• RQ3 類似したフレームが複数の異なる出力を生成する複数モード不整合問題を、盲目的な動画処理環境で効果的に解消できるか？
• RQ4 本手法は、タスク固有の適応なしに、多様な動画処理タスクにどれほど一般化できるか？
• RQ5 データ適合性と時間的整合性のトレードオフは何か？訓練中に効果的に管理できるか？

主な発見

• 提案手法は、動画カラー化、ノイズ除去、スーパーレンジングを含む7つの多様なコンピュータビジョンタスクにおいて、最先端の手法と比較して優れた時間的整合性を達成する。
• 反復的重み付け訓練（IRT）戦略により、フレーム間で一貫した知覚的に整合性のあるモードが効果的に選択された。
• 時間的整合性は25〜50エポック程度で安定し、長さや動きのレベルが異なる動画に対しても良好に動作する。
• 大規模な事前学習や外部データセットを一切必要とせず、学習にテスト動画のみに依存する。
• U-Net、FCN、ResUnetなどの複数のCNNアーキテクチャに有効に適用でき、強力な一般化性能を示す。
• 推論時間が長め（例：50フレームの動画で1フレームあたり約2秒）であるが、フローベースのベースラインと比較して、より優れた知覚的品質と整合性を達成する。