[論文レビュー] Depth-Aware Video Frame Interpolation

Bao, Wenbo, Lai, Wei-Sheng+4 more|arXiv (Cornell University)|Apr 1, 2019

Advanced Vision and Imaging参考文献 39被引用数 4

ひとこと要約

本論文では、深度マップを活用して奥行き領域を明示的に検出することで、フレーム補間の品質を向上させるDepth-Aware Video Frame Interpolation (DAIN) を提案する。奥行きに応じて流れベクトルを集約する際、近い物体を優先する深度認識フローカーブレーション層を導入し、光学的流れ、局所的補間カーネル、学習可能な階層的特徴を組み合わせることで、コンactで効率的かつ完全微分可能なアーキテクチャにより、最先端の性能を達成する。

ABSTRACT

This paper explores how recent convolutional neural network (CNN)-based techniques can be used to interpolate images inside scientific image databases. These databases are frequently used for the interactive visualization of large-scale simulations, where images correspond to samples of the parameter space (e.g., timesteps, isovalues, thresholds, etc.) and the visualization space (e.g., camera locations, clipping planes, etc.). These databases can be browsed post hoc along the sampling axis to emulate real-time interaction with large-scale datasets. However, the resulting databases are limited to their contained images, i.e., the sampling points. In this paper, we explore how efficiently and accurately CNN-based techniques can derive new images by interpolating database elements. We demonstrate on several real-world examples that the size of databases can be further reduced by dropping samples that can be interpolated post hoc with an acceptable error, which we measure qualitatively and quantitatively.

研究の動機と目的

• 大規模な動きや隠蔽領域によって引き起こされる動画フレーム補間における運動ぼかしやアーチファクトの課題に対処すること。
• 大規模なモデルに依存する暗黙的な推論に頼らず、深度情報を利用して奥行き領域を明示的に検出することで、補間品質を向上させること。
• 光学的流れ、深度、文脈的特徴を統合した、コンactで効率的かつ完全微分可能なモデルを構築すること。
• 高精細なスローモーション動画生成を可能にし、シャープなエッジと明確な物体境界を持つ任意の中間フレームを合成すること。

提案手法

• 奥行き値に基づいて流れベクトルを集約する深度認識フローカーブレーション層を提案し、流れの集約時に近い物体を優先することで、動き境界の明瞭さを向上させること。
• 共有エンコーダ・デコーダアーキテクチャを用いて、入力フレームから双方向の光学的流れと深度マップを推定すること。
• ResNetのような事前学習分類ネットワークに依存せずに、広い受容野から階層的特徴を学習すること。
• 推定された流れと局所的補間カーネルを用いて、入力フレーム、深度マップ、文脈的特徴に適応的ワーピングを適用すること。
• ワープされた特徴と流れ集約表現をもとに、残差学習により最終的な補間フレームを合成すること。
• コンactでエンドツーエンドトレーニング可能かつ完全微分可能であり、推論効率を最適化したネットワークを採用すること。

実験結果

リサーチクエスチョン

• RQ1 奥行き情報は、動画フレーム補間における奥行き領域検出に効果的に活用可能か？
• RQ2 標準的な流れ平均化と比較して、奥行き認識型流れ集約機構は、より明確な動き境界と少ないアーチファクトを実現するか？
• RQ3 モデルの複雑さを増加させずに、学習可能な階層的特徴抽出戦略が事前学習特徴を上回る性能を発揮できるか？
• RQ4 多様なデータセット上で、提案手法は最先端の手法と比較して性能と効率に優れているか？
• RQ5 モデルのコンパクトさと推論速度は、フレーム補間モデルの実用的導入にどの程度影響を及えるか？

主な発見

• DAINは、Vimeo90KデータセットにおいてMEMC-Netより0.42 dBのPSNR向上を達成し、複数のベンチマークで最先端の性能を示した。
• MEMC-Netと比較して69%少ないパラメータを用いながらも、同等の推論速度を維持しており、高い効率性とコンパクトさを示した。
• 視覚的比較では、DAINはぼやけたエッジやアーチファクトが少なく、よりシャープなエッジとより適切に整列したコンテンツ（例：杭、顔の特徴）を生成した。
• 深度認識フローカーブレーション層により、流れ集約時に近い物体を優先することで、動き境界の明瞭さが顕著に向上した。
• 補間結果の詳細な可視化では、10倍のスローモーション動画生成に適した高品質の中間フレームを生成できることを副次的結果で示した。
• 深度マップの推定が不正確な場合、結果がぼやける傾向があるが、これは深度品質に感受性があることを示しており、それでもToFlowを上回る性能を発揮した。