[論文レビュー] Dictionary Learning for Deblurring and Digital Zoom

Florent Couzinié-Devy, Julien Mairal+2 more|arXiv (Cornell University)|Oct 5, 2011

Image and Signal Denoising Methods参考文献 2被引用数 26

ひとこと要約

本稿では、ペアドのぼやけ／シャープ、または低解像度／高解像度画像パッチを用いて、タスク固有の辞書を学習するための判別的辞書学習アプローチを非盲目的画像のぼやけ除去およびデジタルズームに提案する。スパースコーディングと線形予測子を組み合わせ、確率的勾配降下法により最適化することで、合成データおよび実データの両方で最先端の性能を達成し、Yangらの二重辞書アプローチを含む先行研究を上回る。

ABSTRACT

This paper proposes a novel approach to image deblurring and digital zooming using sparse local models of image appearance. These models, where small image patches are represented as linear combinations of a few elements drawn from some large set (dictionary) of candidates, have proven well adapted to several image restoration tasks. A key to their success has been to learn dictionaries adapted to the reconstruction of small image patches. In contrast, recent works have proposed instead to learn dictionaries which are not only adapted to data reconstruction, but also tuned for a specific task. We introduce here such an approach to deblurring and digital zoom, using pairs of blurry/sharp (or low-/high-resolution) images for training, as well as an effective stochastic gradient algorithm for solving the corresponding optimization task. Although this learning problem is not convex, once the dictionaries have been learned, the sharp/high-resolution image can be recovered via convex optimization at test time. Experiments with synthetic and real data demonstrate the effectiveness of the proposed approach, leading to state-of-the-art performance for non-blind image deblurring and digital zoom.

研究の動機と目的

• 画像修復における生成的モデルの限界を克服するため、ぼやけ除去およびデジタルズームのための判別的辞書学習アプローチを導入すること。
• 低品質なパッチを高品質な対応物に直接マッピングするタスク固有の辞書を学習することで、画像修復の性能を向上させること。
• スパースコーディングを用いて、大規模なパッチデータベースに対して効率的なトレーニングを可能にするため、確率的勾配降下法を活用し、数百万のパッチにスケーラブルなトレーニングを実現すること。
• スパースコーディングと線形予測子を組み合わせることで、非盲目的なぼやけ除去およびデジタルズームにおいて、最先端の結果を達成すること。

提案手法

• 本手法は、ペアドのトレーニングデータを用いて、低解像度（ぼやけた）パッチ用と高解像度（シャープな）パッチ用の2つのタスク固有の辞書を学習する。
• 修復問題を、低解像度パッチのスパース表現を対応する高解像度パッチにマッピングする線形予測子が担う判別的学習タスクとして定式化する。
• 最適化問題は、大規模なパッチデータベースでの効率的トレーニングを可能にするため、確率的勾配降下法を用いて解く。
• 各低解像度パッチを、学習済み辞書の少数のアトムの線形結合として表現するためにスパースコーディングを用いる。
• テスト時に凸最適化を用いて高解像度画像を再構築することで、安定性と効率性を確保する。
• 本手法は、合成データおよび実世界のデータ（宇宙望遠鏡画像やスマートフォン画像を含む）の両方で検証されている。

実験結果

リサーチクエスチョン

• RQ1 判別的辞書学習フレームワークは、画像のぼやけ除去およびデジタルズームタスクにおいて、生成的モデルを上回ることができるか？
• RQ2 辞書学習に線形予測子を組み合わせることで、標準的なスパースコーディング手法と比較して、修復性能がどのように向上するか？
• RQ3 確率的勾配降下法は、画像修復のための大規模なパッチデータベースでのスケーラブルなトレーニングをどの程度可能にするか？
• RQ4 提案手法は、実世界および合成データにおける非盲目的なぼやけ除去およびデジタルズームで、最先端の性能を達成するか？

主な発見

• デジタルズーム倍率2倍のLena画像において、本手法はPSNR 33.31を達成し、Yangらの手法（バックプロジェクションなしで32.13、ありで33.06）を上回った。
• Girl画像では、PSNR 32.00を達成し、Yangらの最良結果（バックプロジェクションありで31.93）を上回った。
• Flower画像では、PSNR 39.92を達成し、Yangらのバックプロジェクションありでの39.59を大きく上回った。
• 定性的な結果では、Fattalらの手法よりも明確なテクスチャとエッジを再現しており、Glasdnerらの手法と同程度の性能を示し、アーチファクトが少ないことが確認された。
• ペアドのデータに基づく判別的トレーニングのおかげで、サブピクセルのずれやアンチエイリアシングの変動に対しても、本手法は頑健であることが示された。
• タスク固有の辞書と組み合わせた線形予測子の使用により、単一の辞書アプローチに比べて顕著な性能向上が達成された。