[論文レビュー] Frame Interpolation with Multi-Scale Deep Loss Functions and Generative Adversarial Networks

Joost R. van Amersfoort, Wenzhe Shi+5 more|arXiv (Cornell University)|Nov 16, 2017

Advanced Vision and Imaging参考文献 31被引用数 35

ひとこと要約

本論文は、マルチスケールリーマン推定と敵対的・コンテンツ的・フローに基づく監視を組み合わせた知覚損失を用いた、リアルタイムのフレーム補間ネットワークであるFIGANを提案する。PSNRと視覚的品質の両面で最先端の性能を達成するとともに、最も近い競合手法と比較して47倍高速に動作し、合成動画フレーム生成における優れた効率性と現実性を示している。

ABSTRACT

Frame interpolation attempts to synthesise frames given one or more consecutive video frames. In recent years, deep learning approaches, and notably convolutional neural networks, have succeeded at tackling low- and high-level computer vision problems including frame interpolation. These techniques often tackle two problems, namely algorithm efficiency and reconstruction quality. In this paper, we present a multi-scale generative adversarial network for frame interpolation (\mbox{FIGAN}). To maximise the efficiency of our network, we propose a novel multi-scale residual estimation module where the predicted flow and synthesised frame are constructed in a coarse-to-fine fashion. To improve the quality of synthesised intermediate video frames, our network is jointly supervised at different levels with a perceptual loss function that consists of an adversarial and two content losses. We evaluate the proposed approach using a collection of 60fps videos from YouTube-8m. Our results improve the state-of-the-art accuracy and provide subjective visual quality comparable to the best performing interpolation method at x47 faster runtime.

研究の動機と目的

• 高い再構成品質と計算効率の両立を図るリアルタイムのフレーム補間手法の開発。
• オプティカルフロー推定の限界を克服するため、粗くから細かくまでのフロー精錬と空間変換ネットワークを統合。
• 標準的なピxls単位の損失をマルチスケール知覚損失に置き換えることで、視覚的リアリズムを向上。
• PSNRや知覚的品質を損なわせることなく、モデルの複雑さと推論コストを低減。
• 定量的指標と主観的視覚的品質の両面で最先端のパフォーマンスを達成。

提案手法

• 粗くから細かくまでの順序でフローやフレーム予測を構築するマルチスケールリーマン推定モジュールを提案し、計算コストを低減。
• 実際のフレームと生成されたフレームを区別するように訓練されたディスクリミネーターを備えた生成的敵対的ネットワーク（GAN）を採用し、知覚的リアリズムを向上。
• VGGベースの特徴再構成と敵対的損失を組み合わせたマルチスケール知覚損失を用い、構造的およびテクスチャの忠実度を強化。
• 微分可能な画像ワープを可能にする空間変換ネットワークを統合し、フローとフレーム合成パイプラインのエンドツーエンド学習を実現。
• L1損失、知覚損失、敵対的損失を組み合わせた複合損失関数を、ネットワークの複数の深さで訓練をガイドするために適用。
• YouTube-8M 60fpsの動画データセットを用い、複数スケールの監視戦略を採用することで、さまざまな解像度における特徴の一貫性を向上。

実験結果

リサーチクエスチョン

• RQ1 粗くから細かくまでのマルチスケールアーキテクチャは、正確性を損なわずフレーム補間の効率性を向上させることができるか？
• RQ2 敵対的学習とマルチスケール知覚損失を組み合わせることで、より視覚的にリアルな補間フレームが得られるか？
• RQ3 PSNR、推論速度、視覚的品質の観点から、本手法は最先端のアプローチと比較してどのように差をつけるか？
• RQ4 モデルの複雑さとFLOPsを低減させることで、フレーム補間のパフォーマンスにどの程度の影響が生じるか？
• RQ5 知覚的監視を施したGANベースのアプローチは、従来のL1ベースの損失と比較して、定量的および定性的な指標の両方で優れているか？

主な発見

• FIGANは、全テストセットでPSNR 37.23を達成し、前回の最先端手法（MS with VGG）を0.26 dB上回った。
• 1フレーム（360×640）あたり0.015秒で処理され、最も近い競合手法と比較して47倍高速に動作した。
• 視覚的品質は、最高性能を示した手法（SepConv-ℒF）と同等であったが、1回の推論あたりのFLOPsが3.24倍少ない。
• オプティカルフローに基づくベースライン（例：Farneback、PCA-layers）と比較して、PSNRおよび視覚的一致性の両面で優れており、特に動きや隠蔽の処理において顕著だった。
• 特に重なった高速移動物体と静止物体を含む複雑な動きシナリオにおいて、他の手法と比較してシャープネスと微細構造をよりよく保持した。
• 敵対的学習と組み合わせたマルチスケール知覚損失の使用により、L1のみまたは標準的な知覚損失と比較して、より自然なテクスチャとぼかしの低減が達成された。