[論文レビュー] The Power of Complementary Regularizers: Image Recovery via Transform Learning and Low-Rank Modeling

Bihan Wen, Yanjun Li+1 more|arXiv (Cornell University)|Aug 3, 2018

Sparse and Compressive Sensing Techniques参考文献 66被引用数 6

ひとこと要約

本稿では、学習されたスパース化変換によるスパarsityと、類似したパッチのグループ化された低ランクモデリングを併用することで、画像修復を向上させる新しいフレームワークSTROLLRを提案する。変換学習とグループベースの低ランク正則化を組み合わせることで、ノイズ除去、穴埋め補間、圧縮センシングMRIにおいて最先端の性能を達成し、従来手法よりも最大7.7 dBのPSNR向上を達成した。

ABSTRACT

Recent works on adaptive sparse and on low-rank signal modeling have demonstrated their usefulness in various image / video processing applications. Patch-based methods exploit local patch sparsity, whereas other works apply low-rankness of grouped patches to exploit image non-local structures. However, using either approach alone usually limits performance in image reconstruction or recovery applications. In this work, we propose a simultaneous sparsity and low-rank model, dubbed STROLLR, to better represent natural images. In order to fully utilize both the local and non-local image properties, we develop an image restoration framework using a transform learning scheme with joint low-rank regularization. The approach owes some of its computational efficiency and good performance to the use of transform learning for adaptive sparse representation rather than the popular synthesis dictionary learning algorithms, which involve approximation of NP-hard sparse coding and expensive learning steps. We demonstrate the proposed framework in various applications to image denoising, inpainting, and compressed sensing based magnetic resonance imaging. Results show promising performance compared to state-of-the-art competing methods.

研究の動機と目的

• 画像回復におけるスパarsityまたは低ランクモデリングの単独利用の限界を克服するため、両正則化子を統合すること。
• 自然画像における局所的スパarsityと非局所的自己類似性を活用した、効率的かつ適応的な画像修復フレームワークの開発。
• 計算コストの高い合成辞書学習に代えて、スパース化変換学習を用いることで、正確かつ高速なスパースコーディングを実現すること。
• 統一された正則化モデルを用いて、圧縮センシングMRI、ノイズ除去、穴埋め補間といった困難な逆問題における性能を向上させること。

提案手法

• 学習されたスパース化変換とグループベースの低ランク近似を統合した、同時スパarsityおよび低ランクモデルであるSTROLLRを提案する。
• 変換学習を用いて、しきい値処理を介したスパース係数による画像パッチの適応的表現を実現し、正確かつ効率的なスパースコーディングを可能にする。
• ブロックマッチングを用いて類似した画像パッチをグループ化し、各グループに対して核ノルムまたはシュタインpノルム正則化を用いて低ランク構造を強制する。
• 収束保証付きの交替方向乗数法（ADMM）アルゴリズムを用いて、連合最適化問題を解く。
• スパarsity（学習された変換を介して）と低ランク性（グループ化されたパッチ行列を介して）を統合した最適化フレームワーク内で、ハイブリッド正則化子を採用する。
• アンダーサンプリング比と画像コンテンツに応じて正則化パラメータを適応的にチューニングし、多様な撮影条件下でも高いロバスト性を実現する。

実験結果

リサーチクエスチョン

• RQ1 学習された変換におけるスパarsityとグループ化パッチの低ランクモデリングを組み合わせることで、個々の正則化子を上回る画像回復性能が達成可能か？
• RQ2 ノイズ除去、穴埋め補間、圧縮センシングMRIにおいて、提案されたSTROLLRフレームワークは最先端手法と比較してPSNRおよび視覚的品質で優れているか？
• RQ3 画像修復タスクにおいて、合成辞書学習に代わるスパース化変換学習は、計算上の利点を提供するか？
• RQ4 スパarsityと非局所的自己類似性の共同正則化が、再構成画像におけるアーティファクトやノイズをどれほど低減するか？
• RQ5 深層学習ベースの手法とは異なり、再トレーニングを必要とせずに、さまざまなMRIサンプリングパターンや画像タイプに一般化可能か？

主な発見

• 2.5×アンダーサンプリング条件下で物理的フィジカル・フォント画像を再構成した際、STROLLR-MRIはSparse MRIに対して最大7.7 dBのPSNR向上を達成した。
• 7つのMRI再構成ケース全体で、TL-MRIとFRIST-MRIをそれぞれ平均2.5 dBおよび2.3 dB上回った。
• 5×偽ラジアルアンダーサンプリング下でのBrain Data 1画像において、STROLLR-MRIは37.3 dBのPSNRを達成し、ADMM-Netを1.4 dB上回った。
• 視覚的比較では、STROLLR-MRIは、深層学習ベースのADMM-Netを含む競合手法と比較して、より少ないアーティファクトとノイズを生成した。
• フレームワークは100イテレーション以内で実証的収束を示し、新しいサンプリングパターンに対して再トレーニングなしに多様な撮影シナリオで高い性能を維持した。
• 変換学習の使用により、合成辞書学習で一般的に見られるNP困難な近似を回避した正確かつ効率的なスパースコーディングが実現された。