[論文レビュー] Multi-frame image super-resolution with fast upscaling technique

Longguang Wang, Zaiping Lin+2 more|arXiv (Cornell University)|Jun 20, 2017

Advanced Image Processing Techniques被引用数 10

ひとこと要約

本稿では、従来の補間を低次元空間に適用する学習可能フィルタに置き換え、その後に特徴量のシャッフルを施して高次元出力を再構築する、エンドツーエンドで高速なマルチフレーム画像スーパーレゾリューション（MISR）用アップスケーリング技術を提案する。この手法は計算複雑性を低減し、ぼやけたアーチファクトを最小限に抑える。バイラテラル全般変動正則化と組み合わせることで、最先端の性能を達成する。

ABSTRACT

Multi-frame image super-resolution (MISR) aims to fuse information in low-resolution (LR) image sequence to compose a high-resolution (HR) one, which is applied extensively in many areas recently. Different with single image super-resolution (SISR), sub-pixel transitions between multiple frames introduce additional information, attaching more significance to fusion operator to alleviate the ill-posedness of MISR. For reconstruction-based approaches, the inevitable projection of reconstruction errors from LR space to HR space is commonly tackled by an interpolation operator, however crude interpolation may not fit the natural image and generate annoying blurring artifacts, especially after fusion operator. In this paper, we propose an end-to-end fast upscaling technique to replace the interpolation operator, design upscaling filters in LR space for periodic sub-locations respectively and shuffle the filter results to derive the final reconstruction errors in HR space. The proposed fast upscaling technique not only reduce the computational complexity of the upscaling operation by utilizing shuffling operation to avoid complex operation in HR space, but also realize superior performance with fewer blurring artifacts. Extensive experimental results demonstrate the effectiveness and efficiency of the proposed technique, whilst, combining the proposed technique with bilateral total variation (BTV) regu-larization, the MISR approach outperforms state-of-the-art methods.

研究の動機と目的

• 複数の低次元フレーム間のサブピクセル遷移の統合を改善することで、マルチフレーム画像スーパーレゾリューション（MISR）の不適切な定式化問題に対処すること。
• 既存のMISR手法で見られる粗い補間によって引き起こされる再構築誤差とぼやけたアーチファクトを低減すること。
• 高次元空間での複雑な演算を回避する、計算効率の高いアップスケーリング機構を設計すること。
• 提案されたアップスケーリング手法をバイラテラル全般変動（BTV）正則化と統合することで、性能を向上させること。

提案手法

• 本手法は、画像の各周期的サブ位置に対して、低次元（LR）空間における学習可能なアップスケーリングフィルタを設計する。
• これらのフィルタをLR空間内の特徴マップに適用し、異なるサブピクセルオフセットに対応する中間特徴マップを生成する。
• シャッフル操作により、サブ位置間の特徴マップを再配置し、最終的な高次元（HR）出力を合成する。これにより、HR空間での直接計算を効果的に回避する。
• 全アップスケーリングプロセスは微分可能であり、MISR用のエンドツーエンド学習フレームワークに統合される。
• 再構築品質とエッジのシャープネスをさらに向上させるために、バイラテラル全般変動（BTV）正則化と組み合わせる。
• 予測されたHR画像と真値HR画像の間の再構築誤差を最小化する損失関数を用いて、エンドツーエンドで学習を行う。

実験結果

リサーチクエスチョン

• RQ1 低次元空間における学習可能で効率的なアップスケーリング機構は、マルチフレームスーパーレゾリューションで従来の補間を上回る性能を発揮できるか？
• RQ2 補間をフィルタ・シャッフル戦略に置き換えることで、再構築された高次元画像のぼやけたアーチファクトが低減されるか？
• RQ3 提案されたアップスケーリング手法は、既存のMISR手法と比較して、より優れた性能を達成しながら、計算コストを低く抑えることができるか？
• RQ4 提案されたアップスケーリング手法をBTV正則化と統合することで、再構築品質とエッジ保持性にどのような影響を与えるか？

主な発見

• 提案された高速アップスケーリング手法は、低次元空間での演算とシャッフル操作を用いることで、計算複雑性を顕著に低減する。
• 補間ベースのベースラインと比較して、より優れた視覚的品質と、ぼやけたアーチファクトの少ない再構築を達成する。
• バイラテラル全般変動（BTV）正則化と組み合わせることで、定量的指標と視覚的忠実度の両面で、最先端の手法を上回る性能を発揮する。
• 多数のベンチマークデータセットを用いた広範な実験により、提案手法の有効性と効率性が実証された。