[論文レビュー] DivNoising: Diversity Denoising with Fully Convolutional Variational Autoencoders.

Mangal Prakash, Alexander Krull+1 more|arXiv (Cornell University)|Jun 10, 2020

Cell Image Analysis Techniques被引用数 9

ひとこと要約

DivNoisingは、1つの出力ではなく、ノイズ除去画像の多様な分布を予測する完全畳み込み型変分オートエンコーダーを導入し、顕微鏡画像の不確実性を意識した修復を可能にした。事後分布からのサンプリングにより、対応するクリアデータが不要なまま、OCR や細胞セグメンテーションなどの下流タスクの性能が向上する。

ABSTRACT

Deep Learning based methods have emerged as the indisputable leaders for virtually all image restoration tasks. Especially in the domain of microscopy images, various content-aware image restoration (CARE) approaches are now used to improve the interpretability of acquired data. But there are limitations to what can be restored in corrupted images, and any given method needs to make a sensible compromise between many possible clean signals when predicting a restored image. Here, we propose DivNoising -- a denoising approach based on fully-convolutional variational autoencoders, overcoming this problem by predicting a whole distribution of denoised images. Our method is unsupervised, requiring only noisy images and a description of the imaging noise, which can be measured or bootstrapped from noisy data. If desired, consensus predictions can be inferred from a set of DivNoising predictions, leading to competitive results with other unsupervised methods and, on occasion, even with the supervised state-of-the-art. DivNoising samples from the posterior enable a plethora of useful applications. We are (i) discussing how optical character recognition (OCR) applications could benefit from diverse predictions on ambiguous data, and (ii) show in detail how instance cell segmentation gains performance when using diverse DivNoising predictions.

研究の動機と目的

• ノイズの多い顕微鏡画像における不確実性を捉えられない単一出力のノイズ除去手法の限界を解消すること。
• クリア画像とノイズ画像のペアが不要な、ノイズのない画像とノイズモデルの記述のみを活用する教師なしノイズ除去フレームワークの開発。
• 下流タスク（例：光学的文字認識や個別細胞セグメンテーション）の性能向上に寄与する多様な予測を可能にすること。
• 不確実性を反映する分布的出力を提供し、画像解析における堅牢な意思決定を支援すること。

提案手法

• 本手法は、ノイズのある入力を与えたもとで、綺麗な画像の事後分布をモデル化する完全畳み込み型変分オートエンコーダー（VAE）を採用する。
• 再パラメータライゼーショントリックを用いてエンドツーエンドの学習を可能にし、事後分布からの確率的サンプリングを通じたバックプロパゲーションを実現する。
• ノイズの特性は、既知または推定されたノイズモデルによりモデル化され、VAEの推論および生成ネットワークの条件付けに用いられる。
• 学習済みVAEの事後分布から複数回サンプリングすることで、多様なノイズ除去出力を生成する。
• 複数のサンプルからのコンSENSUS予測を計算することで、耐障害性と性能を向上させる。
• 本手法は完全に教師なしであり、トレーニングにクリア画像とノイズ画像のペアを一切必要としない。

実験結果

リサーチクエスチョン

• RQ1 変分オートエンコーダーの枠組みは、対応するトレーニングデータが不要な状態で、ノイズの多い顕微鏡画像から多様かつ高品質なノイズ除去出力を生成できるか？
• RQ2 ノイズ除去画像の分布からのサンプリングは、OCR や細胞セグメンテーションなどの下流タスクの性能をどのように向上させるか？
• RQ3 多様なサンプルからのコンセンサス予測は、教師ありの最先端手法の結果にどれほど近づくか、あるいはそれを上回るか？
• RQ4 真のクリア信号が曖昧な状況において、本手法は画像修復における不確実性をどのように処理するか？

主な発見

• DivNoisingは、他の教師なしノイズ除去手法と比較して競争力のある性能を達成しており、教師ありの最先端モデルに近い結果を示している。
• 多様な予測の使用により、個別細胞セグメンテーションの性能が顕著に向上し、不確実性を意識した出力の価値が実証された。
• OCR応用では、ノイズの多い画像における曖昧または低コントラストのテキストをより堅牢に処理できる。
• 複数のサンプルからのコンセンサス予測は、出力の分散を低減させながらも安定的かつ高品質な修復を実現した。
• 本手法は、ノイズ画像とノイズモデルの記述のみで効果的に動作し、対応するペアデータの必要性を排除した。