[論文レビュー] All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling

Zhixiang Chi, Rasoul Mohammadi Nasiri+4 more|arXiv (Cornell University)|Jul 23, 2020

Advanced Vision and Imaging参考文献 29被引用数 5

ひとこと要約

本稿では、時間的ピラミッド構造を用いて複数の中間フレームを同時に最適化する、1回のスナップショットで動作する時間的に適応可能なマルチフレーム補間ネットワークを提案する。これにより、高品質で時間的に一貫性のある結果が得られる。立方体運動モデルと緩和された損失関数を導入し、Adobe240データセットにおいて、最先端手法と比較して1.57 dB高いPSNRを達成した。モデルサイズは8倍小さく、推論速度は7.7倍速い。

ABSTRACT

Recent advances in high refresh rate displays as well as the increased interest in high rate of slow motion and frame up-conversion fuel the demand for efficient and cost-effective multi-frame video interpolation solutions. To that regard, inserting multiple frames between consecutive video frames are of paramount importance for the consumer electronics industry. State-of-the-art methods are iterative solutions interpolating one frame at the time. They introduce temporal inconsistencies and clearly noticeable visual artifacts. Departing from the state-of-the-art, this work introduces a true multi-frame interpolator. It utilizes a pyramidal style network in the temporal domain to complete the multi-frame interpolation task in one-shot. A novel flow estimation procedure using a relaxed loss function, and an advanced, cubic-based, motion model is also used to further boost interpolation accuracy when complex motion segments are encountered. Results on the Adobe240 dataset show that the proposed method generates visually pleasing, temporally consistent frames, outperforms the current best off-the-shelf method by 1.57db in PSNR with 8 times smaller model and 7.7 times faster. The proposed method can be easily extended to interpolate a large number of new frames while remaining efficient because of the one-shot mechanism.

研究の動機と目的

• 1フレームずつ生成する反復的マルチフレーム補間手法が引き起こす時間的不一致や視覚的アーチファクトを解消すること。
• 変化する加速度を伴う複雑な非線形実世界の運動を捉えるために、線形または2次運動モデルの限界を克服すること。
• すべての中間フレームを同時に最適化する1つのネットワーク、1回のスナップショットフレームワークを設計し、時間的一致性を確保するとともに補間品質を向上させること。
• モデルサイズと推論時間を削減し、モバイルおよび組み込みデバイスへのデプロイを可能にすることで、実世界の応用に向けた高品質フレーム補間の実用化を図ること。
• 小さな位置ずれを許容する緩和された損失関数を導入し、真値からのわずかなずれを許容しながらも、光学フロー推定の精度を向上させること。

提案手法

• より簡単な中間フレーム（入力フレームに近いもの）には浅いサブネットワーク、より難しいフレーム（時間的に離れているもの）には深いサブネットワークを適用する時間的ピラミッドネットワークアーキテクチャを提案。これにより、適応的かつ同時最適化が可能になる。
• 非線形運動トレンド（変化する加速度を含む）をよりよく捉えるために、立方体に基づく運動モデルを採用。線形または2次モデルに比べて精度が向上する。
• 予測されたフローベクトルが真値の位置の隣接ピクセルにマッピングできるように許容する緩和された損失関数を導入。これにより、ロバスト性が向上し、中間フレームの運動予測精度が向上する。
• 複数の入力フレーム（例：I₀, I₁）を用いることで、運動推定と補間品質を向上。2フレームを超える時間的文脈を活用する。
• すべての中間フレームを1回の順方向プロパゲーションで生成するようにネットワークを設計。これにより、反復的手法に見られる誤差伝搬や時間的ジャイタの問題が解消される。
• アーキテクチャ設計と損失関数の最適化により、パrameter数を削減し、推論速度を向上させる。これにより、少ないパrameter数で高い性能を達成し、高速な推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 1回のスナップショットでエンドツーエンドに動作するマルチフレーム補間ネットワークは、反復的かつ1フレームずつ処理するアプローチよりも優れた時間的一致性を達成できるか？
• RQ2 特に複雑な運動シナリオにおいて、立方体運動予測という高度な運動モデリングは、線形または2次モデルに比べて補間品質をどのように向上させるか？
• RQ3 光学フロー推定における緩和された損失関数は、真値からのわずかなずれを許容するが、運動予測精度と最終的な補間品質をどの程度向上させるか？
• RQ4 生成の難易度に応じて適応するピラミッド型時間的構造は、マルチフレーム補間における品質と効率の両面を向上させるか？
• RQ5 モバイルデバイスへのリアルタイムデプロイに適した、顕著に小型化されたモデルサイズと高速な推論速度を実現しながら、最先端の性能を達成することは可能か？

主な発見

• 提案手法は、Adobe240データセットにおいて、最先端手法[26]と比較して1.57 dB高いPSNRを達成し、優れた補間品質を示した。
• パrameter数が[26]の12.5%（8倍小さい）でありながら、高い性能を維持しており、顕著な効率的向上が示された。
• 8フレーム以上の補間において、[26]と比較して推論速度が7.7倍速く、リアルタイム応用に非常に適している。
• 緩和された損失関数は、初期のフローベクトル推定精度がわずかに低下するものの、中間フレームの運動予測精度を向上させ、最終的な補間結果が改善された。
• 時間的ピラミッド構造により、すべての中間フレームを同時に最適化できるため、アブレーションスタディで中間フレームの補間品質が向上した。
• 1回のスナップショットでスケーラブルなアーキテクチャを備えているため、多数のフレームを補間する場合でも、高い性能と効率を維持できる。