[論文レビュー] Noise2Same: Optimizing A Self-Supervised Bound for Image Denoising

Yaochen Xie, Zhengyang Wang+1 more|arXiv (Cornell University)|Oct 22, 2020

Image and Signal Denoising Methods参考文献 24被引用数 40

ひとこと要約

Noise2Sameは、J不変性やノイズモデルを必要としない自己監視型デノイジング損失を導入し、学習を監督する上限を導出して従来の自己監視手法を上回る。

ABSTRACT

Self-supervised frameworks that learn denoising models with merely individual noisy images have shown strong capability and promising performance in various image denoising tasks. Existing self-supervised denoising frameworks are mostly built upon the same theoretical foundation, where the denoising models are required to be J-invariant. However, our analyses indicate that the current theory and the J-invariance may lead to denoising models with reduced performance. In this work, we introduce Noise2Same, a novel self-supervised denoising framework. In Noise2Same, a new self-supervised loss is proposed by deriving a self-supervised upper bound of the typical supervised loss. In particular, Noise2Same requires neither J-invariance nor extra information about the noise model and can be used in a wider range of denoising applications. We analyze our proposed Noise2Same both theoretically and experimentally. The experimental results show that our Noise2Same remarkably outperforms previous self-supervised denoising methods in terms of denoising performance and training efficiency. Our code is available at https://github.com/divelab/Noise2Same.

研究の動機と目的

• 個別のノイズ画像を用いる自己監視デノイジング手法におけるJ不変性の限界を動機づけて分析する。
• J不変性とノイズモデルの要件を緩和しつつ、全入力情報を活用する新しい自己監視損失を提案する。
• 理論的に、監視付きデノイジング損失を自己監視上限で境界づけ、実験的に検証する。
• ポスト処理なしで、さまざまなデータセットにおいてデノイジング性能と訓練効率の向上を示す。

提案手法

• J不変性を仮定せずに成り立つ監視付き損失の自己監視上限を導出する。
• 2項の損失を提案する：全入力に対する再構成MSEと、マスクされた入力と全入力の出力の出力に基づいて計算される不変性代替項の平方根。
• 画像からJをサンプリングして不変性指標を計算するが、ネットワークが厳密にJ不変であることを要求しない。
• 不変性の強さを制御するために重み lambda_inv（デフォルト 2）で項を調整し、ノイズレベルに適応する。
• 理論的正当化（Theorems 1 and 2）と経験的分析を提供し、不変性の強さとノイズ強度の関係を明らかにする。
• マスクベースのブラインドスポット手法およびベイジアン後処理と比較し、ノイズモデル知識を必要とせず、より広い適用性を強調する。

実験結果

リサーチクエスチョン

• RQ1 J-invarianceまたは既知のノイズモデルを必要としない自己監視デノイジング損失を導出できるか？
• RQ2 適切に較正された不変性項を組み込むことで、さまざまなデータセットにおける自己監視デノイジングの性能と訓練効率は向上するか？
• RQ3 未知・混在・未知ノイズ条件下で、Noise2Sameは既存の自己監視手法と比べてどの程度良いか？
• RQ4 ポスト処理なしで全入力情報を活用して、監視付きデノイジングと監視なしデノイジングとの差をどの程度縮められるか？

主な発見

• Noise2Sameは、ImageNet、HanZi、Planaria、BSD68データセットにおいてPSNRの点で従来の自己監視デノイジング手法を一貫して上回る。
• 全入力再構成と不変性代替項を組み合わせた2項の損失は、単に再構成する自己監視よりも性能が高い。
• lambda_invで調整可能な不変性項はノイズ強度やデータセット特性に適応し、理論的境界と整合する。
• マスクベースのブラインドスポット手法は実務上厳密にはJ不変ではなく、厳密なJ不変性が常にデノイジング性能に最適とは限らない。
• ノイズモデル後処理なしでも、Noise2Sameは畳み込みブラインドスポットネットワークに匹敵する訓練効率を達成する。
• 未知または混在ノイズのデータセットでは、Noise2Sameはノイズモデル情報を要するベイズ後処理法より幅広い適用性を提供する。