[論文レビュー] Unsupervised Learning with Stein's Unbiased Risk Estimator

Christopher A. Metzler, Ali Mousavi+2 more|arXiv (Cornell University)|May 26, 2018

Sparse and Compressive Sensing Techniques参考文献 48被引用数 60

ひとこと要約

本論文は、Steinの不偏リスク推定量（SURE）とその一般化が、ground-truth画像なしでCNNを用いた画像デノイジングと復元を訓練できることを示す。データがなくノイズデータのみでのデノイズ、ノイズ付き訓練データを用いたデノイズ、ノイズ測定からの圧縮センシングを含む。

ABSTRACT

Learning from unlabeled and noisy data is one of the grand challenges of machine learning. As such, it has seen a flurry of research with new ideas proposed continuously. In this work, we revisit a classical idea: Stein's Unbiased Risk Estimator (SURE). We show that, in the context of image recovery, SURE and its generalizations can be used to train convolutional neural networks (CNNs) for a range of image denoising and recovery problems without any ground truth data. Specifically, our goal is to reconstruct an image $x$ from a noisy linear transformation (measurement) of the image. We consider two scenarios: one where no additional data is available and one where we have measurements of other images that are drawn from the same noisy distribution as $x$, but have no access to the clean images. Such is the case, for instance, in the context of medical imaging, microscopy, and astronomy, where noise-less ground truth data is rarely available. We show that in this situation, SURE can be used to estimate the mean-squared-error loss associated with an estimate of $x$. Using this estimate of the loss, we train networks to perform denoising and compressed sensing recovery. In addition, we also use the SURE framework to partially explain and improve upon an intriguing results presented by Ulyanov et al. in "Deep Image Prior": that a network initialized with random weights and fit to a single noisy image can effectively denoise that image. Public implementations of the networks and methods described in this paper can be found at https://github.com/ricedsp/D-AMP_Toolbox.

研究の動機と目的

• 正解画像が入手できないラベルなしでノイズのあるデータから画像回復を学習させることの動機づけ。
• クリーンなターゲットなしでデノイジングと復元のためのMSE損失をSUREが推定できることを示す。
• ノイズのある訓練データからCNNデノイザを訓練できるようSUREがどのように機能するかを示す。
• 既知のHとノイズモデルを用いた線形測定に対して、SUREを generalized SURE (GSURE)へ拡張する。
• Deep Image Prior との関連を探り、発散を推定量の分散の代理として理解する。

提案手法

• SUREと、y+epsilon bのモンテカルロサンプリングによる発散推定のMC-SUREを提示する。
• 訓練データがないデノイジング（Deep Image Prior variant）にSUREを適用し、CNNをノイズの観測値からデノイズ済み出力へ写像させる訓練を行う。
• 真のMSEの代わりにSURE損失を最小化することで、ノイズのある訓練データ上でCNNデノイザを訓練する。
• ノイズ測定を用いたLDAMPを用いて圧縮センシングへ拡張する；MSE、SURE、GSUREの訓練目的を比較する。
• 既知のノイズ特性とHの範囲への射影Pを用いた線形測定モデル y = Hx + w にGSUREを適用する。

実験結果

リサーチクエスチョン

• RQ1 クリーンな画像が利用できない場合に、SUREは画像復元のMSE損失の無偏推定を提供できるか。
• RQ2 SURE/GSURE損失を用いて、グラウンドトゥルースデータなしにCNNをデノイジングの訓練ができるか。
• RQ3 ノイズデータ上の真のMSEでの訓練との比較、あるいは圧縮センシングタスクでGSUREを用いた訓練との比較で、SUREでの訓練はどう差が出るか。

主な発見

訓練時間	テスト時間	Barbara	Boat	Couple	House	Mandrill	Bridge
BM3D	0.82 sec	29.8	28.7	29.2	32.8	25.8	26.2
DnCNN SURE	0.01 sec	29.0	28.9	29.1	32.3	26.1	26.6
DnCNN MSE	0.01 sec	29.4	29.1	29.5	32.9	26.3	26.7

• SUREは ground-truthデータなしでデノイザを訓練することを可能にする。
• DnCNN SURE on noisy dataは、クリーンデータ上でMSEで訓練したネットワークとほぼ同等の性能を示す。
• 大規模な未訓練U-netはSUREで訓練すると競争力のあるデノイジング性能を発揮するが、監視付きや事前訓練済み手法よりは遅い。
• LDAMPをSUREで訓練すると競争力のあるCS回復性能を達成し、場合によってはBM3D-AMPと同等で、GSUREベースの変種より速い。
• GSUREは射影距離が完全なx再構成を正確には反映しないため、CS設定ではMSEやSUREに劣ることがある。