[論文レビュー] N2V2 -- Fixing Noise2Void Checkerboard Artifacts with Modified Sampling Strategies and a Tweaked Network Architecture

Eva Höck, Tim-Oliver Buchholz+3 more|arXiv (Cornell University)|Nov 15, 2022

Cell Image Analysis Techniques被引用数 5

ひとこと要約

N2V2は、MaxPoolをBlurPoolに置き換え、残差接続および最上位スコア接続を削除し、新しいブラインドスポット画素置換戦略（平均/中央値）を導入することで、Noise2Void（N2V）のノイズ除去性能を向上させた。これらの変更により、チェス盤模様のアーティファクトが顕著に低減され、追加の学習データや計算コストなしに、複数の顕微鏡および自然画像データセットで最先端の自己教師付きノイズ除去性能を達成した。

ABSTRACT

In recent years, neural network based image denoising approaches have revolutionized the analysis of biomedical microscopy data. Self-supervised methods, such as Noise2Void (N2V), are applicable to virtually all noisy datasets, even without dedicated training data being available. Arguably, this facilitated the fast and widespread adoption of N2V throughout the life sciences. Unfortunately, the blind-spot training underlying N2V can lead to rather visible checkerboard artifacts, thereby reducing the quality of final predictions considerably. In this work, we present two modifications to the vanilla N2V setup that both help to reduce the unwanted artifacts considerably. Firstly, we propose a modified network architecture, i.e., using BlurPool instead of MaxPool layers throughout the used U-Net, rolling back the residual U-Net to a non-residual U-Net, and eliminating the skip connections at the uppermost U-Net level. Additionally, we propose new replacement strategies to determine the pixel intensity values that fill in the elected blind-spot pixels. We validate our modifications on a range of microscopy and natural image data. Based on added synthetic noise from multiple noise types and at varying amplitudes, we show that both proposed modifications push the current state-of-the-art for fully self-supervised image denoising.

研究の動機と目的

• 生体医療画像分野で広く使われている自己教師付きノイズ除去手法であるNoise2Void（N2V）における、長年のチェス盤模様のアーティファクトを解消すること。
• これらのアーティファクトの根本的要因、特にMaxPool層、残差接続、およびブラインドスポット画素置換戦略の役割を特定すること。
• U-Netアーキテクチャの変更と、マスクされた画素に対する新しい置換戦略の導入により、ノイズ除去品質を向上させること。
• 将来の自己教師付きノイズ除去手法の公平な評価を可能にするために、適切な訓練/検証/テスト分割を備えた、より現実的で新しいベンチマークデータセット（Convallaria_1）を提供すること。
• 長時間の訓練が性能を著しく向上させることを示し、訓練の収束を確認するまで停止しないようユーザーに促すこと。

提案手法

• U-NetのMaxPool層をBlurPool層に置き換えることで、空間的ダウンサンプリングの平滑化を図り、チェス盤模様のアーティファクトを低減する。
• 残差接続およびU-Netの最上位スコア接続を削除することで、ノイズの強い残差入力によるバイアスを低減し、特徴の学習を改善する。
• 訓練中にマスクされた中心画素を置き換えるための新しい2つのブラインドスポット画素置換戦略（平均値および中央値）を導入する。
• 自己教師付き手法において特に重要である収束を保証するため、延長された訓練期間を用いた修正された訓練プロトコルを採用する。
• BSD68、Mouse、Flywing、および現実的で適切な分割設定を備えた新しいConvallaria_1データセットを含む多様なデータセットで手法を検証する。
• PSNRを真値と比較して性能を評価し、アーキテクチャ的変更およびサンプリング変更の個別および統合的効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 なぜNoise2Voidにチェス盤模様のアーティファクトが生じるのか？MaxPool層と残差接続はこの問題にどのように寄与しているのか？
• RQ2 MaxPoolをBlurPoolに置き換え、残差接続を削除することで、ノイズ除去性能に悪影響を与えずにチェス盤模様のアーティファクトを低減できるか？
• RQ3 異なるブラインドスポット画素置換戦略（平均値対中央値）は、自己教師付きN2V訓練におけるノイズ除去出力の品質にどのように影響するか？
• RQ4 N2Vは、強度の塩とコショウノイズ環境下で性能を低下させるのか？その理由は何か？
• RQ5 1枚のノイズあり入力画像を採用した、元のConvallariaデータセットの見直し版（単一のノイズあり入力）は、自己教師付きノイズ除去手法のベンチマークの現実性と公平性を向上させられるか？

主な発見

• BlurPoolの導入、残差接続および最上位スコア接続の削除の組み合わせにより、元のN2Vと比較してチェス盤模様のアーティファクトが顕著に低減された。
• ブラインドスポット画素の平均値置換戦略は、定性的な評価では中央値置換戦略を常に上回ったが、定量的評価では混合した傾向が見られた。
• 元の置換戦略（uwCP）を用いた場合、N2Vは塩ノイズの除去に失敗する。これは、塩画素が高コントラストで、マスキングの確率が低いため、ネットワークがそれらを保存するように学習してしまうためである。
• 残差接続の削除により、特に高ノイズ環境下で、ノイズの強い残差入力によるバイアスが低減され、性能が向上した。
• 延長された訓練期間は収束を促進し、性能向上に寄与した。これは、先行研究における訓練期間がしばしば短すぎたことを示唆している。
• 1枚のノイズあり入力画像を採用した、新たに提案されたConvallaria_1データセットは、自己教師付きノイズ除去手法の評価に向け、より現実的で公平なベンチマークを提供する。このデータセットはコミュニティが採用すべきである。