[論文レビュー] Video Frame Interpolation by Plug-and-Play Deep Locally Linear Embedding

Duc Chien Nguyen, Woojae Kim+2 more|arXiv (Cornell University)|Jul 4, 2018

Advanced Vision and Imaging参考文献 23被引用数 5

ひとこと要約

本稿では、事前学習を必要とせず、任意の数の入力フレーム間で高品質なフレーム補間を実現する、プラグアンドプレイで教師なしの動画フレーム補間手法であるDeep Locally Linear Embedding (DeepLLE)を提案する。この手法は深層自己符号化畳み込みニューラルネットワーク（CNN）を用いて潜在空間における線形性を埋め込み、入力フレーム間の任意の数のフレームを補間可能である。性能評価では、周囲の品質とPSNR/SSIM指標において最先端の性能を達成しており、大規模データや微調整を必要としないにもかかわらず、既存の深層学習モデルを上回っている。

ABSTRACT

We propose a generative framework which takes on the video frame interpolation problem. Our framework, which we call Deep Locally Linear Embedding (DeepLLE), is powered by a deep convolutional neural network (CNN) while it can be used instantly like conventional models. DeepLLE fits an auto-encoding CNN to a set of several consecutive frames and embeds a linearity constraint on the latent codes so that new frames can be generated by interpolating new latent codes. Different from the current deep learning paradigm which requires training on large datasets, DeepLLE works in a plug-and-play and unsupervised manner, and is able to generate an arbitrary number of frames. Thorough experiments demonstrate that without bells and whistles, our method is highly competitive among current state-of-the-art models.

研究の動機と目的

• 大規模なトレーニングや微調整を必要とする深層学習ベースのフレーム補間手法の限界を解消すること。
• 従来の即時的で即座に利用可能な補間手法と、優れた性能を示す現代の深層学習モデルとのギャップを埋めること。
• 一度の推論で任意の数の入力フレーム間で任意の数のフレームを補間可能にする仕組みを実現すること。
• 光流やワープに依存せずに、学習された潜在表現における明示的な線形制約を用いた動画生成の可能性を検討すること。
• 深層CNNがラベルなしデータに依存せずに、教師なしで即時的かつプラグアンドプレイな動画生成に適した豊富な動画統計を捉えることができるかを実証すること。

提案手法

• 連続する動画フレームを低次元の潜在空間にエンコードする深層自己符号化CNNを訓練する。
• 連続するフレームの潜在コードに明示的な線形性制約を課し、それらが潜在空間における線形多様体上に位置すると仮定する。
• 参照フレームの潜在コードが定める直線上に新たな潜在コードを補間することで、新しいフレームを生成する。
• L1、L2、SSIMの成分を含む知覚的損失関数を用いて、潜在コードとデコーダーを同時に最適化する。
• アーチファクトを抑制し、高周波数ディテールの回復を向上させるために、最適化中にドロップアウトを適用する。
• 最適化の収束を安定化させるために、学習率を2500回目と3750回目に半減させるスケジュールを採用する。

実験結果

リサーチクエスチョン

• RQ1 深層自己符号化器の潜在空間における明示的な線形性が、事前学習を必要とせず高品質な教師なしフレーム補間を可能にするか？
• RQ2 即時的で最適化ベースの手法の性能は、教師ありの深層学習モデルと比べてどうか？
• RQ3 活性化関数、ドロップアウト、損失関数の構成といったアーキテクチャ的選択が、補間フレームの品質に与える影響は何か？
• RQ4 一度の最適化実行で、複数の入力フレーム間で任意の数の補間フレームを生成できるか？
• RQ5 深層CNNは、ラベルなしデータに依存せずに、教師なし動画生成に適した内在的な動画統計をどの程度捉えることができるか？

主な発見

• DeepLLEはUCF101やDAVISを含む複数のベンチマークで、最先端の教師ありモデルと同等のPSNRおよびSSIMスコアを達成した。
• 損失関数にSSIMを組み込むことで、構造的アーチファクトが顕著に減少し、SSIMを含まないモデルと比較して知覚的品質が向上した。
• ReLU、SELU、ELUの活性化関数を用いることで、飽和のため性能が低下する一方、LReLUを用いることで最良の結果が得られた。
• 最適化中にドロップアウトを適用することで、視覚的アーチファクトが著しく減少し、高周波数ディテールの回復が向上し、リアルな質が向上した。
• 学習率の段階的減少により最適化が安定化し、収束付近の振動が抑制されたが、最終的な指標に顕著な向上は見られなかった。
• 本手法は3つの参照フレームで最も優れた性能を示した。より多くのフレームを用いると、非線形性が強い多様体において線形性仮定が破られ、性能が劣化した。