[論文レビュー] On learning optimized reaction diffusion processes for effective image restoration

Yunjin Chen, Wei Yu+1 more|arXiv (Cornell University)|Mar 19, 2015

Image and Signal Denoising Methods参考文献 30被引用数 43

ひとこと要約

この論文は、学習可能な線形フィルタとパラメータ化された影響関数を組み合わせた、トレーニング可能な非線形反応拡散モデルを画像修復に提案している。損失に基づくアプローチで訓練された本手法は、高い計算効率を実現し、GPU並列処理が高速に行えるほか、ノイズ除去およびJPEGデブロッキングの両タスクで既存手法を上回る最先端の修復性能を達成している。

ABSTRACT

For several decades, image restoration remains an active research topic in low-level computer vision and hence new approaches are constantly emerging. However, many recently proposed algorithms achieve state-of-the-art performance only at the expense of very high computation time, which clearly limits their practical relevance. In this work, we propose a simple but effective approach with both high computational efficiency and high restoration quality. We extend conventional nonlinear reaction diffusion models by several parametrized linear filters as well as several parametrized influence functions. We propose to train the parameters of the filters and the influence functions through a loss based approach. Experiments show that our trained nonlinear reaction diffusion models largely benefit from the training of the parameters and finally lead to the best reported performance on common test datasets for image restoration. Due to their structural simplicity, our trained models are highly efficient and are also well-suited for parallel computation on GPUs.

研究の動機と目的

• 高い修復品質を維持しつつ、計算効率の高い画像修復手法を開発すること。
• 手作業で設計されたPDEベースの拡散モデルの限界を克服し、データから最適なフィルタと影響関数を学習すること。
• 構造の単純さとGPU並列計算に適した特性を活かして、高速処理を実現すること。
• 学習された影響関数が、従来のロバストなスムージング関数を上回る性能を示すかどうかを検証すること。
• ガウスノイズ除去およびJPEGデブロッキングの標準ベンチマークにおいて、最先端の結果を示すこと。

提案手法

• 本モデルは、従来の反応拡散に学習可能な線形フィルタとパラメータ化された影響関数を拡張したものである。
• フィルタと影響関数のパラメータは、教師あり損失に基づく最適化フレームワークを用いてエンドツーエンドで訓練される。
• 影響関数は、ゼロから離れた複数の極小値を示すように学習され、単なるスムージングではなく構造の強化が可能になる。
• 固定された拡散ステップ数を持つマルチステージアーキテクチャを採用し、各ステップで学習されたフィルタと非線形性が適用される。
• 畳み込み演算に依存し、複雑な変換が不要なため、GPU上での効率的な実装が可能である。
• 本手法はガウスノイズ除去およびJPEGデブロッキングの両方のタスクに適用可能であり、それぞれのタスクごとに別々のモデルを訓練している。

実験結果

リサーチクエスチョン

• RQ1 トレーニング可能な反応拡散モデルは、高い計算効率を維持しながらも、最先端の画像修復性能を達成できるか？
• RQ2 学習された影響関数は、PDEベースの手法で一般的に使われる従来のロバスト関数とどのように異なるか？
• RQ3 本モデルは、ノイズ除去やデブロッキングなどの異なる画像修復タスクに、良好に一般化できるか？
• RQ4 固定された手作業で設計されたモデルと比較して、フィルタと非線形性を学習することで、モデルの性能がどの程度向上するか？
• RQ5 特に高解像度画像において、本モデルの実行時間は他の最先端手法と比べてどの程度優れているか？

主な発見

• 提案されたTRDモデルは、標準的なガウスノイズ除去ベンチマークで、報告済みの最高PSNRを達成し、最先端の手法を上回った。
• JPEGデブロッキングにおいて、品質因子10、20、30の各条件下で、それぞれPSNRが27.85、30.06、31.41に達し、すべての競合手法を上回った。
• 1024×1024の画像に対してGPU上で約0.095秒で実行可能であり、次に速い手法（SADCT、CPU上での約56.5秒）と比べて顕著に高速であった。
• 学習された影響関数はゼロから離れた複数の極小値を示し、均一なスムージングではなく、画像構造の適応的強化を可能にした。
• モデルのアーキテクチャは並列処理に非常に適しており、単一スレッドCPUでも高い効率を発揮し、多くの非局所手法を凌駆する速度を示した。
• モデルは強く一般化可能であり、構造的変更を最小限に抑えつつ、ノイズ除去およびデブロッキングの両タスクでトップの性能を達成した。