[論文レビュー] Boosting CNN beyond Label in Inverse Problems

Eunju Cha, Jaeduck Jang+3 more|arXiv (Cornell University)|Jun 18, 2019

Image and Signal Denoising Methods参考文献 32被引用数 4

ひとこと要約

本稿では、逆問題に応用された畳み込みニューラルネットワーク（CNN）における不偏予測誤差推定のための新しいブースティング推定器、Noise2Boostingを提案する。組み合わせ的畳み込みフレーム表現とバッチ正規化を活用することで、ラベルに依存しないエンドツーエンド学習を可能とし、クリアなラベルや複数のノイズ付き再現が不要な状況下でも、ノイズ除去、スーパーレゾリューション、MRI再構成において優れた性能を達成する。

ABSTRACT

Convolutional neural networks (CNN) have been extensively used for inverse problems. However, their prediction error for unseen test data is difficult to estimate a priori since the neural networks are trained using only selected data and their architecture are largely considered a blackbox. This poses a fundamental challenge to neural networks for unsupervised learning or improvement beyond the label. In this paper, we show that the recent unsupervised learning methods such as Noise2Noise, Stein's unbiased risk estimator (SURE)-based denoiser, and Noise2Void are closely related to each other in their formulation of an unbiased estimator of the prediction error, but each of them are associated with its own limitations. Based on these observations, we provide a novel boosting estimator for the prediction error. In particular, by employing combinatorial convolutional frame representation of encoder-decoder CNN and synergistically combining it with the batch normalization, we provide a close form formulation for the unbiased estimator of the prediction error that can be minimized for neural network training beyond the label. Experimental results show that the resulting algorithm, what we call Noise2Boosting, provides consistent improvement in various inverse problems under both supervised and unsupervised learning setting.

研究の動機と目的

• クリアなラベルが利用できない状況下で、逆問題に応用されたCNNにおける予測誤差推定の課題に対処すること。
• Noise2Noise（複数のノイズ付き再現が必須） や Noise2Void（サブサンプリングに起因する性能劣化）といった既存の教師なし手法の制限を克服すること。
• 予測誤差の明示的かつ閉形式の不偏推定器を用いて、ラベルを超えた一般化性能を向上させる、一般化可能なラベルフリーの学習フレームワークを開発すること。
• エンコーダ・デコーダ型CNN（例：U-Net）を、1枚あたり1つのノイズ付き入力のみを用いて、教師あり・教師なしの両設定で安定して学習可能にする。

提案手法

• エンコーダ・デコーダ型CNNの組み合わせ的畳み込みフレーム表現を提案し、入力依存の線形フレーム構造をモデル化する。
• ReLUネットワークの性質に基づき、出力の入力に関する発散（divergence）を用いて、予測誤差の閉形式の不偏推定器を導出する。
• ランダムに重み付けまたはマスクされた入力サンプルからの複数出力を組み合わせることで、予測誤差を低減するブースティング戦略を導入する。
• バッチ正規化を用いることで、発散項の寄与を単純化し、学習の安定性を向上させるとともに、恒等写像の学習を回避する。
• ノイズ付き入力に対して、ランダムな重み付け（0.8–1.2）とノイズ拡張（σ ∈ [10,40]）を適用し、クリアな画像が不要な状況で多様な訓練サンプルを生成する。
• 導出された推定器を損失関数として用い、教師データのないエンドツーエンド最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ReLUベースのエンコーダ・デコーダ型CNNに対して、予測誤差の閉形式の不偏推定器を導出できるか？
• RQ2 予測誤差推定器をどのように活用することで、逆問題におけるラベルを超えたCNN学習が可能になるか？
• RQ3 Noise2Noise（複数のノイズ付き再現が必須） や Noise2Void（サブサンプリングに起因する性能劣化）の制限を克服できるか？
• RQ4 ランダムな入力重み付けによる複数のブースト済みネットワーク出力の組み合わせは、一般化性能と画像品質の向上に寄与するか？
• RQ5 提案手法は、1枚あたり1つのノイズ付き入力でのみ動作する状況で、教師なし逆問題において最先端の性能を達成できるか？

主な発見

• Gaussianノイズ除去（σ=25）において、Noise2BoostingはNoise2Noiseを上回るPSNRとSSIMを達成し、Set5では29.117のPSNRと0.742のSSIMを記録した。これに対してNoise2Noiseは29.180と0.756を記録した。
• 視覚的に確認された図5によると、σ=25のノイズ除去において、Noise2BoostingはNoise2Noiseよりも優れたテクスチャおよび詳細回復性能を示した。
• Noise2Boostingは、スーパーレゾリューション、加速MRI、電子顕微鏡分野でも競争力ある性能を発揮し、さまざまな逆問題への一般化能力を示した。
• ランダムな入力重み付けとノイズ拡張の活用により、クリアな画像や複数のノイズ付き再現が不要な状況で効果的なデータ拡張が可能となった。
• 理論的分析により、バッチ正規化によって発散項の寄与が最小化され、安定的かつ効率的な学習が可能であることが確認された。
• 提案されたフレームワークにより、1つのノイズ付き入力のみを用いた教師なし学習が可能となり、データ収集の制約が顕著に軽減された。