[論文レビュー] Interpretable Unsupervised Diversity Denoising and Artefact Removal

Mangal Prakash, Mauricio Delbracio+2 more|arXiv (Cornell University)|Apr 3, 2021

Cell Image Analysis Techniques被引用数 8

ひとこと要約

本稿では、階層的変分オートエンコーダーに基づく、多様で解釈可能なノイズ除去画像再構成を生成する、新たな教師なし深層学習フレームワークであるHierarchical DivNoising (HDN) を提案する。HDNは12のベンチマークデータセットで最先端の性能を達成し、マルチスケールで分離可能な表現学習を活用することで、教師なしで構造的なアーティファクトを除去できる。

ABSTRACT

Image denoising and artefact removal are complex inverse problems admitting multiple valid solutions. Unsupervised diversity restoration, that is, obtaining a diverse set of possible restorations given a corrupted image, is important for ambiguity removal in many applications such as microscopy where paired data for supervised training are often unobtainable. In real world applications, imaging noise and artefacts are typically hard to model, leading to unsatisfactory performance of existing unsupervised approaches. This work presents an interpretable approach for unsupervised and diverse image restoration. To this end, we introduce a capable architecture called Hierarchical DivNoising (HDN) based on hierarchical Variational Autoencoder. We show that HDN learns an interpretable multi-scale representation of artefacts and we leverage this interpretability to remove imaging artefacts commonly occurring in microscopy data. Our method achieves state-of-the-art results on twelve benchmark image denoising datasets while providing access to a whole distribution of sensibly restored solutions. Additionally, we demonstrate on three real microscopy datasets that HDN removes artefacts without supervision, being the first method capable of doing so while generating multiple plausible restorations all consistent with the given corrupted image.

研究の動機と目的

• 既存の教師なしノイズ除去手法が単一の点推定しか生成せず、構造的なノイズに対処できないという限界を是正すること。
• 特に複雑な現実世界の画像データに対して、従来の教師なしモデル（例：DivNoising (DN)）よりも表現力が高く、計算効率に優れたアーキテクチャを構築すること。
• 複数スケールにわたる画像アーティファクトと真の信号の解釈可能な分解を可能とし、目的に応じたアーティファクト除去を可能とすること。
• 教師なしで多様な画像修復が可能であり、挑戦的な顕微鏡および自然画像データセットにおいて、教師あり手法に近い性能を達成できることを示すこと。

提案手法

• HDNは複数の確率的潜在層を備えた階層的変分オートエンコーダー（HVAE）を採用し、マルチスケール表現学習を可能にしている。
• 生成パスではゲート付き残差ブロックとスキップ接続を用いて、特徴の伝搬と再構成忠実度を向上させている。
• 後期崩壊を防ぎ、訓練を安定化させるために、先行モデルで用いられるKL正則化の代わりにfree-bits法を適用している。
• ラダーベースの上向き下りの推論と生成メカニズムを採用することで、表現の表現力が向上している。
• 下位の潜在層に対して選択的な上向き下りの「無効化」技術を適用し、アーティファクトと真の信号の階層的分離を活用して構造的ノイズを除去している。
• 教師ありデータを一切使用せず、汚染済み画像のみで学習を行うため、完全に教師なしの運用が可能になっている。

実験結果

リサーチクエスチョン

• RQ1 標準的なVAEと比較して、階層的VAEアーキテクチャが教師なし画像ノイズ除去性能を顕著に向上させられるか？
• RQ2 このようなモデルが、高い画像品質を維持しつつ、多様で現実的なノイズ除去再構成を生成できるか？
• RQ3 階層的構造が、画像アーティファクトと真の信号成分の解釈可能な分離を可能にするか？
• RQ4 スケールに特化した表現分解を活用することで、顕微鏡画像における空間的に相関するノイズ（例：構造的ノイズ）を教師なしで除去できるか？
• RQ5 教師なし多様な画像修復が、現実世界およびベンチマークデータセットにおいて、教師あり手法との性能ギャップを埋められるか？

主な発見

• HDNは12のベンチマーク画像ノイズ除去データセットで最先端の性能を達成し、8つの代表的な教師なしベースラインを上回った。
• BSD68データセットでは、PSNRが31.45 dBに達し、DNおよび他の教師なしモデルを顕著に上回った。
• バッチ正則化を適用した場合、HDNはDNよりも0.5 dBのPSNR向上を示し、スキップ接続によりさらに0.2 dBの向上が得られた。
• 入力ノイズレベルが高くなるにつれて、100サンプルアンサンブルの画素単位標準偏差が上昇することで、より多様なサンプルが生成されることを実証した。
• 3つの実顕微鏡データセットにおいて、教師なしで構造的アーティファクトを効果的に除去し、入力に整合する複数の妥当な修復が可能となった。
• 階層的アーキテクチャにより、下位層に捉えられたアーティファクト（下位層）と上位層に捉えられた真の信号（上位層）の解釈可能な分離が可能となり、低レベル特徴の無効化により目的のアーティファクトをターゲットで除去できるようになった。