[論文レビュー] Single image super-resolution by approximated Heaviside functions

Liang-Jian Deng, Weihong Guo+1 more|arXiv (Cornell University)|Mar 12, 2015

Advanced Image Processing Techniques参考文献 55被引用数 3

ひとこと要約

本稿では、滑らかでない画像成分を別々にモデル化する2種類の近似ヘヴィサイド関数（AHF）を用いた連続的領域における画像超解像法を提案する。ADMMを用いて解くL1正則化付き反復モデルを画素ごとに適用することで、学習データを必要とせず、任意の拡大率で高品質な再構成が可能となり、視覚的品質およびRMSEなどの定量的指標において既存手法を上回る。

ABSTRACT

Image super-resolution is a process to enhance image resolution. It is widely used in medical imaging, satellite imaging, target recognition, etc. In this paper, we conduct continuous modeling and assume that the unknown image intensity function is defined on a continuous domain and belongs to a space with a redundant basis. We propose a new iterative model for single image super-resolution based on an observation: an image is consisted of smooth components and non-smooth components, and we use two classes of approximated Heaviside functions (AHFs) to represent them respectively. Due to sparsity of the non-smooth components, a $L_{1}$ model is employed. In addition, we apply the proposed iterative model to image patches to reduce computation and storage. Comparisons with some existing competitive methods show the effectiveness of the proposed method.

研究の動機と目的

• ハードウェアやコスト制約がある状況において、1枚の低解像度画像しか入手できない場合の単一画像超解像（SISR）の課題に対処すること。
• 離散的領域モデルの限界を克服するため、冗長な基底関数を用いて画像強度関数を連続的領域でモデル化すること。
• 滑らかでない成分（エッジなど）を別々に表現することで、細かな画像ディテールとエッジを保持する手法を開発すること。
• 全画像ではなく画素ごとに反復モデルを適用することで、計算コストとストレージを削減すること。
• 大規模なエッジ周辺のリングアーチファクトを低減するために、勾配に基づく戦略を導入すること。

提案手法

• 未知の高解像度画像強度関数を、滑らか成分用と非滑らか成分（エッジなど）用の2種類の近似ヘヴィサイド関数（AHF）の和としてモデル化する。
• 非滑らか成分のAHF表現におけるスパarsityを活用するため、L1正則化付き最適化問題を定式化する。
• 反復モデルを効率的に解くために、交替方向乗数法（ADMM）を用い、高解像度再構成への収束を実現する。
• 特に大規模な画像においてメモリ使用量と計算負荷を削減するため、係数計算プロセスを画素ごとに適用する。
• 滑らかな領域における画像勾配情報を組み込むことで、大規模エッジ周辺のリングアーチファクトを抑制する。
• 学習済み係数を直接適用することで、任意の解像度に高解像度画像を再構成できるようにする。

実験結果

リサーチクエスチョン

• RQ1 近似ヘヴィサイド関数に基づく連続的領域モデルは、単一画像超解像において滑らかでない成分を効果的に表現できるか？
• RQ2 AHF係数にL1正則化を適用することで、従来手法と比較してエッジやディテールの保持がどの程度向上するか？
• RQ3 画素ごとの処理により、提案手法において計算コストはどの程度削減され、再構成品質は維持されるか？
• RQ4 学習ベースの手法とは異なり、外部学習データを必要としない本手法は、高品質な超解像を達成できるか？
• RQ5 勾配に基づく戦略は、滑らかな画像領域におけるリングアーチファクトをどの程度効果的に低減できるか？

主な発見

• テスト画像において平均RMSEが12.08に達し、定量的・定性的に既存の競合手法を上回った。
• L1正則化付き反復AHFモデルは、非反復手法と比較して、より鋭いエッジとより良好に保持された画像ディテールを生成した。
• 60×60の低解像度画像に対して、2〜9の拡大率の範囲で計算時間が10秒未満に収まり、スケーラビリティが確認された。
• パラメータの変動に対しても頑健であり、λ₁とλ₂をそれぞれ10⁻²および10⁻⁶の周辺でチューニングしても、性能劣化は最小限に抑えられた。
• 画素ごとのモデル適用により、メモリ使用量が顕著に削減され、大規模画像の効率的処理が可能になった。
• 勾配に基づくアーチファクト低減戦略は、滑らかな領域におけるリングアーチファクトを効果的に抑制し、視覚的品質が向上した。