[論文レビュー] Image Deconvolution via Noise-Tolerant Self-Supervised Inversion

Hirofumi Kobayashi, Ahmet Can Solak+2 more|arXiv (Cornell University)|Jun 11, 2020

Image and Signal Denoising Methods参考文献 23被引用数 12

ひとこと要約

本稿では、クリーンな学習データ、信号の事前分布、ノイズ推定を一切必要としない、ノイズに強い自己教師あり逆問題フレームワークを提案する。$χ$-不変性理論とマスキングを施した修正された自己整合性損失を活用することで、CNNが同時に画像のぼかし解除とノイズ除去を学習可能となり、多様なベンチマークデータセットにおいて、定量的指標および視覚的品質の両面で、ルシー＝リチャードソン法などの古典的手法を上回る性能を発揮した。

ABSTRACT

We propose a general framework for solving inverse problems in the presence of noise that requires no signal prior, no noise estimate, and no clean training data. We only require that the forward model be available and that the noise be statistically independent across measurement dimensions. We build upon the theory of $\mathcal{J}$-invariant functions (Batson & Royer 2019, arXiv:1901.11365) and show how self-supervised denoising \emph{à la} Noise2Self is a special case of learning a noise-tolerant pseudo-inverse of the identity. We demonstrate our approach by showing how a convolutional neural network can be taught in a self-supervised manner to deconvolve images and surpass in image quality classical inversion schemes such as Lucy-Richardson deconvolution.

研究の動機と目的

• クリーンな学習データや信号の事前分布に依存しない一般化されたノイズあり画像処理の逆問題ソルバーの開発。
• $χ$-不変性フレームワークをノイズ除去から、デコンボリューションを含むより広範な逆問題へ拡張すること。
• 前方モデルとノイズあり観測値のみを用いて、CNNのエンドツーエンド学習を可能にする画像デコンボリューションの実装。
• 教師なしでも、ルシー＝リチャードソン法やTV正則化ソルバーといった古典的手法を上回る画像品質を達成すること。
• 22枚の実画像を含む多様なベンチマークで、定量的および定性的な複数の指標を用いて手法の妥当性を検証すること。

提案手法

• 前方モデルと再構成画像の間の整合性を強制する自己教師あり損失を定式化し、汚染領域のマスキングによりノイズを抑制する。
• 正確な逆問題とノイズ抑制の両方を奨励する修正された自己整合性損失を導入し、再構成におけるノイズの増幅を回避する。
• コアとなる技術は$χ$-不変性であり、ネットワークが測定次元にわたるノイズに対して不変な関数を学習することで、ノイズ除去のNoise2Selfを逆問題に一般化する。
• 訓練中にマスキング戦略を適用することで、ネットワークがノイズを保持するのを防ぎ、統計的独立性に基づくノイズに強い性能を確保する。
• 微分可能な前方モデル（例：PSFによる畳み込み）と学習可能な逆モデルネットワーク（例：U-Net）を用い、バックプロパゲーションによる学習を実施する。
• PyTorchで実装されており、2Dおよび3D応用をサポートしており、GPU上での推論時間は30ms未満である。

実験結果

リサーチクエスチョン

• RQ1 クリーンな学習データが一切ない状況下でも、深層ニューラルネットワークがノイズあり画像のデコンボリューションを学習可能か？
• RQ2 自己教師あり学習をノイズ除去から、デコンボリューションを含む一般逆問題へどのように拡張できるか？
• RQ3 前方モデルとノイズの統計的独立性のみを用いて、ノイズに強い擬似逆行列を学習可能か？
• RQ4 訓練時にマスキングを適用することで、ノイズの増幅が抑制され、再構成の忠実度が向上するか？
• RQ5 事前仮定なしに、ルシー＝リチャードソン法やTV正則化最適化といった古典的手法を上回る画像品質を達成できるか？

主な発見

• 提案された自己教師あり逆問題（SSI）は、22枚の画像からなるベンチマークで、PSNR = 22.5、SSIM = 0.61、MI = 0.14、SMI = 0.27という全指標で最高の性能を達成した。
• SSIは、5イタレーションで実行されたルシー＝リチャードソン法を上回ったが、これは低ノイズではあるがシャープネスが低下していたにもかかわらず、2番目に高い順位であった。
• GPU上での推論はほぼ即時的（1枚あたり0.03秒）であり、共役勾配法やシャンボル＝ポック法のようなCPUベースのソルバーと比べて顕著に高速であった。
• マスキングを適用しなくても、SSIモデルは予想を上回る性能を示した。これは、前方モデルのローパassing特性のおかげで、過度なノイズ増幅を回避できたためである。
• 繰り返し的・パターン化された構造を有する画像では、より高いデコンボリューション品質が得られ、冗長性が自己教師あり学習を支援することが示された。
• 本手法はデコンボリューションに限らず、微分可能な前方モデルとノイズ不変測定を持つ任意の逆問題に一般化可能である。