[論文レビュー] Fast Single Image Super-Resolution

Ningning Zhao, Qi Wei+4 more|arXiv (Cornell University)|Oct 1, 2015

Advanced Image Processing Techniques参考文献 53被引用数 4

ひとこと要約

本稿では、補間とぼかし演算子の周波数ドメイン特性を活用して、ℓ₂-ℓ₂正則化問題に対する閉形式の解析的解を導出することにより、高速な単一画像スーパーレゾリューション手法を提案する。この手法により、ガウス事前分布に対して非反復的計算が可能となり、全般化された分離ベースのアルゴリズムの計算速度が顕著に向上する。特に、全般化された全変動（TV）やℓ₁ノルム正則化などの非ガウス事前分布に適用した場合に顕著な高速化効果を示す。

ABSTRACT

This paper addresses the problem of single image super-resolution (SR), which consists of recovering a high resolution image from its blurred, decimated and noisy version. The existing algorithms for single image SR use different strategies to handle the decimation and blurring operators. In addition to the traditional first-order gradient methods, recent techniques investigate splitting-based methods dividing the SR problem into up-sampling and deconvolution steps that can be easily solved. Instead of following this splitting strategy, we propose to deal with the decimation and blurring operators simultaneously by taking advantage of their particular properties in the frequency domain, leading to a new fast SR approach. Specifically, an analytical solution can be obtained and implemented efficiently for the Gaussian prior or any other regularization that can be formulated into an $\ell_2$-regularized quadratic model, i.e., an $\ell_2$-$\ell_2$ optimization problem. Furthermore, the flexibility of the proposed SR scheme is shown through the use of various priors/regularizations, ranging from generic image priors to learning-based approaches. In the case of non-Gaussian priors, we show how the analytical solution derived from the Gaussian case can be embedded intotraditional splitting frameworks, allowing the computation cost of existing algorithms to be decreased significantly. Simulation results conducted on several images with different priors illustrate the effectiveness of our fast SR approach compared with the existing techniques.

研究の動機と目的

• 変数分離と反復的ソルバーに依存する従来の単一画像スーパーレゾリューション（SISR）手法の高い計算コストを低減すること。
• 従来の ADMM やスプリット・ブリグマンフレームワークにおける、補間とぼかし演算子の分離処理の非効率性を克服すること。
• 周波数ドメインにおける行列の性質を活用して、ℓ₂-ℓ₂正則化 SISR 問題に対する非反復的・解析的解を導出すること。
• 非ガウス事前分布（例：全変動（TV）、ℓ₁）に対して、既存の分離フレームワークに解析的解を統合することで、計算コストを低減すること。
• 提案手法の柔軟性と多様な正則化タイプおよび画像事前分布にわたる効率性を実証すること。

提案手法

• SISR 問題を以下の ℓ₂-ℓ₂ 最適化問題として定式化する：||Hx - y||² + τ||x||² を最小化する。ここで H はぼかしと補間をモデル化する。
• H がフーリエドメインで巡回的およびブロック巡回的構造を示すことに着目し、Woodbury の行列恒等式を用いて閉形式の解を導出する。
• H の固有値分解をフーリエ変換を用いて行う：H = FᴴΛF と表現可能であり、これにより周波数ドメインでの効率的な逆行列計算が可能になる。
• 定理 1 を提案し、解析的解を x = (FᴴΨF)⁻¹Fᴴr として計算する。ここで Ψ は正則化およびぼかし演算子から導出される。
• 非ガウス事前分布（例：TV や ℓ₁）に対しては、ADMM フレームワークに解析的解を統合し、反復的サブステップを直接計算に置き換える。
• 高速フーリエ変換（FFTs）を用いて実装することで、計算効率と大規模画像へのスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 単一画像スーパーレゾリューションにおける補間とぼかし演算子を、周波数ドメインで同時に取り扱うことで、反復的分離を回避できるか？
• RQ2 ℓ₂-ℓ₂正則化 SISR 問題に対して、非反復的計算を可能にする解析的解が存在するか？
• RQ3 ガウス事前分布に対する解析的解を、全変動や ℓ₁ ノルムなどの非ガウス事前分布を含む分離ベースのアルゴリズムに効果的に再利用できるか？
• RQ4 標準的な ADMM やスプリット・ブリグマン法と比較して、提案手法が計算コストをどの程度低減できるか？
• RQ5 提案手法は、多様な画像および正則化タイプにおいて、PSNR および SSIM の観点でどの程度の性能を示すか？

主な発見

• 本手法は、補間とぼかし演算子の周波数ドメイン構造を活用することで、ℓ₂-ℓ₂ SISR 問題に対する閉形式の解を達成した。
• 解析的解により、ADMM のサブ問題を反復的計算から直接計算に置き換え、処理速度が顕著に向上した。
• 全変動（TV）や ℓ₁ ノルムなどの非ガウス事前分布に対しては、解析的解を ADMM フレームワークに統合し、反復回数と全体の実行時間を削減した。
• シミュレーション結果から、本手法は、特に TV や ℓ₁ 正則化を用いた場合に、従来の ADMM を用いた SISR 手法を PSNR および SSIM の両面で上回った。
• 計算複雑度を低減しながらも高い再構成品質を維持でき、リアルタイムまたは大規模画像のスーパーレゾリューション応用に適している。