[論文レビュー] Learning to Extract a Video Sequence from a Single Motion-Blurred Image

Meiguang Jin, Givi Meishvili+1 more|arXiv (Cornell University)|Apr 11, 2018

Advanced Image Processing Techniques参考文献 35被引用数 13

ひとこと要約

本稿では、1枚の運動歪み画像から、時間的順序が失われた状態での不適切な復元問題と、時間的順序の喪失という2つの課題に直面しながらも、一連のシャープな動画フレームを再構築する深層学習手法を提案する。フレームペアに基づく順序不変損失関数と、教師強制を用いた順序付き再構築戦略により、合成および実世界の歪み画像の両方から、時間的に整合性があり高品質なフレームを効果的に回復することができる。

ABSTRACT

We present a method to extract a video sequence from a single motion-blurred image. Motion-blurred images are the result of an averaging process, where instant frames are accumulated over time during the exposure of the sensor. Unfortunately, reversing this process is nontrivial. Firstly, averaging destroys the temporal ordering of the frames. Secondly, the recovery of a single frame is a blind deconvolution task, which is highly ill-posed. We present a deep learning scheme that gradually reconstructs a temporal ordering by sequentially extracting pairs of frames. Our main contribution is to introduce loss functions invariant to the temporal order. This lets a neural network choose during training what frame to output among the possible combinations. We also address the ill-posedness of deblurring by designing a network with a large receptive field and implemented via resampling to achieve a higher computational efficiency. Our proposed method can successfully retrieve sharp image sequences from a single motion blurred image and can generalize well on synthetic and real datasets captured with different cameras.

研究の動機と目的

• 露出中の画像平均化によって時間的順序が失われる状況下で、1枚の運動歪み画像から一連のシャープな動画フレームを回復することに取り組む。
• 大きな受容 field を有する深層学習と効率的なリサンプリングを活用することで、ブラインドデブラーの不適切な性質を克服する。
• フレーム順序に依存しない損失関数を設計することで、時間的曖昧性を解消し、ニューラルネットワークが柔軟な時間的順序を学習できるようにする。
• 合成データの訓練にとどまらず、多様な実世界のカメラやブラーの種類に一般化できるようにし、耐障害性を確保する。

提案手法

• フレームを順番に予測する順序付きペア再構築戦略を採用し、中央フレームから始めて誤差伝搬を低減する。
• フレームペアの平均値と絶対差をターゲットとして用いることで、時間的順序に依存しない新しい損失関数を導入する。
• 大きな畳み込みフィルターよりもリサンプリング層を用いることで、大きな受容 field を実現し、計算効率とメモリ使用量を改善する。
• 生成的対抗訓練を適用して、再構築フレームの現実性とシャープネスを向上させる。
• 訓練段階で教師強制を用い、真の中央フレームをネットワークにフィードバックすることで、以降のフレーム予測の安定化と高速化を図る。
• 中央フレームと対称的なフレームペア（例：フレーム1と7、2と6）に対して別々のネットワークを用い、対称ペア間でパラメータを共有することでスケーラビリティを向上させる。

実験結果

リサーチクエスチョン

• RQ1 時間的順序が失われた状態でも、深層ニューラルネットワークが1枚の運動歪み画像から一連のシャープなフレームを効果的に再構築できるか？
• RQ2 フレーム順序に依存しない損失関数をどのように設計すれば、ネットワークが複数の妥当な時間的順序を学習できるか？
• RQ3 教師強制を用いた順序付き再構築戦略は、独立またはグローバル再構築と比較して、フレーム予測の品質と安定性を向上させるか？
• RQ4 本モデルは、訓練に用いられたカメラとは異なる実世界のカメラで撮影された画像に対しても、どの程度一般化できるか？

主な発見

• 提案手法は、1枚の運動歪み画像から7枚のシャープで時間的に整合性のあるフレームを効果的に再構築でき、視覚的品質がベースライン手法を顕著に上回る。
• 順序不変損失関数の導入により、ネットワークは複数の妥当なフレーム順序を学習でき、固定順序での訓練に起因する欠陥を回避することができる。
• 教師強制により収束が速まり、特に中央フレームから離れたフレームの再構築において視覚的品質が向上する。
• 訓練データとは異なるカメラで撮影された実世界の画像に対しても、本モデルは良好に一般化し、さまざまなブラー特性に対して耐障害性を示す。
• 中央フレームの予測に失敗すると、他のフレームの再構築も失敗するため、正確な中央フレーム推定の重要性が浮き彫りになる。
• 順序付きペア再構築スキームにより、独立またはグローバル再構築アプローチと比較して、特に時間的端部におけるアーティファクトが顕著に低減される。