[論文レビュー] Across Scales & Across Dimensions: Temporal Super-Resolution using Deep Internal Learning

Liad Pollak Zuckerman, Eyal Naor+3 more|arXiv (Cornell University)|Mar 19, 2020

Advanced Image Processing Techniques参考文献 24被引用数 6

ひとこと要約

本論文は、入力の低フレームレート動画からの内部例のみを用いて、動画固有の畳み込みニューラルネットワーク（CNN）を訓練する深層内部学習を用いたゼロショット時間的スーパーレゾリューション（TSR）手法を提案する。時間的・空間的次元間（例えば、空間と時間の入れ替え）で再帰的な空間時間的パッチを活用することで、失われた高時間周波数を回復し、運動のぼやけやアリasingを効果的に除去する。外部データセットで訓練された教師あり手法を上回る性能を発揮する。

ABSTRACT

When a very fast dynamic event is recorded with a low-framerate camera, the resulting video suffers from severe motion blur (due to exposure time) and motion aliasing (due to low sampling rate in time). True Temporal Super-Resolution (TSR) is more than just Temporal-Interpolation (increasing framerate). It can also recover new high temporal frequencies beyond the temporal Nyquist limit of the input video, thus resolving both motion-blur and motion-aliasing effects that temporal frame interpolation (as sophisticated as it maybe) cannot undo. In this paper we propose a "Deep Internal Learning" approach for true TSR. We train a video-specific CNN on examples extracted directly from the low-framerate input video. Our method exploits the strong recurrence of small space-time patches inside a single video sequence, both within and across different spatio-temporal scales of the video. We further observe (for the first time) that small space-time patches recur also across-dimensions of the video sequence - i.e., by swapping the spatial and temporal dimensions. In particular, the higher spatial resolution of video frames provides strong examples as to how to increase the temporal resolution of that video. Such internal video-specific examples give rise to strong self-supervision, requiring no data but the input video itself. This results in Zero-Shot Temporal-SR of complex videos, which removes both motion blur and motion aliasing, outperforming previous supervised methods trained on external video datasets.

研究の動機と目的

• 低フレームレートと長時間露光によって引き起こされる運動のぼやけや運動アリasingに対処する、時間的フレーム補間の限界を解消すること。
• 入力動画のナイキスト周波数を超える高時間周波数を回復する、真の時間的スーパーレゾリューション（TSR）の手法を開発すること。
• 外部データセットを一切必要とせず、入力動画そのもののみを訓練データとして用いるゼロショット TSR を可能にすること。
• 空間的・時間的次元内およびそれらの間で、小さな空間時間的パッチの再帰的性質を探索・活用し、自己教師学習を実現すること。

提案手法

• 入力の低フレームレート動画から抽出した内部例のみを用いて、動画固有の畳み込みニューラルネットワーク（CNN）を訓練する。
• 同じ動画シーケンス内の粗い空間時間的スケールから訓練例を抽出する（次元内パッチ）。
• 空間と時間の次元を入れ替えることで、空間的高分解能を時間的スーパーレゾリューションに活用する、クロス次元パッチ拡張を導入する。
• 内部予測から高時間分解能動画を再構築するマルチスケールバックプロジェクションフレームワークを採用する。
• スケールおよび次元間で小さな空間時間的パッチの再帰的性質に基づく自己教師学習損失を用いる。
• 動画ごとに最適な構成を適応的に設定し、次元内と次元間の訓練例を比較するアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 スケールおよび次元間で再帰的な空間時間的パッチの性質が、時間的スーパーレゾリューションのための効果的な自己教師学習を可能にするか？
• RQ2 空間と時間の次元を入れ替えたクロス次元パッチの再帰的性質は、次元内再帰的性質に比べてより情報量が多い訓練信号を提供するか？
• RQ3 動画固有の内部学習アプローチは、複雑で非剛体な運動に対して、外部で訓練された教師あり手法を上回る性能を発揮するか？
• RQ4 内部学習により、フレーム補間が失敗する状況でも、運動のぼやけと運動アリasingを同時に解消できるか？
• RQ5 異なる動画の特徴（例えば、剛体運動対非剛体運動）は、内部訓練データの最適な構成（次元内対次元間）にどのように影響を与えるか？

主な発見

• 本手法は、特に非剛体運動領域（炎、水、フラフープなど）において、Flawlessなどの最先端の教師あり手法を上回る優れた性能を発揮する。
• 平均して、クロス次元パッチ拡張により、PSNRが0.28 dB、SSIMが0.002、LPIPSが0.002向上する。
• 各動画を最適な構成（次元内、クロス次元、または両方）で訓練した場合、PSNRは34.33 dB、SSIMは0.965、LPIPSは0.032を達成し、さらなる向上が確認された。
• 大規模な均一な運動（落下するダイヤモンドなど）ではクロス次元訓練が顕著に効果を発揮するが、徐々に変化するまたは回転運動の場合は次元内例が好ましい。
• 本手法は、実世界の動画（回転するファン、高速移動するホイールなど）においても、運動アリasingとぼやけを効果的に解消し、フレーム補間が失敗する状況でも正しい運動方向と鮮鋭さを回復した。
• アブレーションスタディにより、平均してクロス次元パッチ再帰性が次元内再帰性よりも情報量が多いことが確認されたが、最適なパフォーマンスを得るには動画固有の構成設定が必要であることが示された。