[論文レビュー] Zero-shot Blind Image Denoising via Implicit Neural Representations

Chaewon Kim, Jae‐Ho Lee+1 more|arXiv (Cornell University)|Apr 5, 2022

Photoacoustic and Ultrasonic Imaging被引用数 7

ひとこと要約

本稿では、MLPのアーキテクチャに内在する誘導的バイアスを活用して、高周波数のノイズよりも低周波数の綺麗な信号を優先的に学習する、暗黙的ニューラル表現（INRs）を用いたゼロショット盲目的画像ノイズ除去手法を提案する。深層層の重みを段階的に減衰させる層選択的正則化を適用することで、低ノイズおよび実際のノイズ環境下で最先端の性能を達成し、Self2Selfのような従来のブラインドスポットベース手法を上回る。

ABSTRACT

Recent denoising algorithms based on the "blind-spot" strategy show impressive blind image denoising performances, without utilizing any external dataset. While the methods excel in recovering highly contaminated images, we observe that such algorithms are often less effective under a low-noise or real noise regime. To address this gap, we propose an alternative denoising strategy that leverages the architectural inductive bias of implicit neural representations (INRs), based on our two findings: (1) INR tends to fit the low-frequency clean image signal faster than the high-frequency noise, and (2) INR layers that are closer to the output play more critical roles in fitting higher-frequency parts. Building on these observations, we propose a denoising algorithm that maximizes the innate denoising capability of INRs by penalizing the growth of deeper layer weights. We show that our method outperforms existing zero-shot denoising methods under an extensive set of low-noise or real-noise scenarios.

研究の動機と目的

• 既存のゼロショット盲目的地ノイズ除去手法の限界、特に低ノイズまたは実際のノイズ条件下での性能の低さを是正すること。
• 暗黙的ニューラル表現（INRs）が、盲目的地画像ノイズ除去において畳み込みアーキテクチャよりも強力な誘導的バイアスを提供するかを調査すること。
• INR学習における時間的分離性（綺麗な信号がノイズのフィッティングよりも先に学習される）を活用したノイズ除去戦略を開発すること。
• 深層INR層に対するペナルティを課すことで、高周波数成分への過学習を抑制し、ノイズ除去性能を向上させること。

提案手法

• 6層の隠れ層を備えたSIRENベースの暗黙的ニューラル表現（INR）を用いて、入力のノイジーな画像を連続関数としてパラメータライズする。
• ピクセル座標からのノイジーな画像の再構成を目的とし、低周波数の綺麗な信号が高周波数のノイズよりも速く学習されるという誘導的バイアスに依存する。
• 特に深層層を対象として層選択的正則化（重み減衰）を適用し、トレーニング中にノイズへの過学習を抑制する。
• 入力画像からノイズレベルを推定し、トレーニングプロセスをガイドし、最適なストップポイントを特定する。
• INRの収束行動に基づいた早期停止を用い、完全なノイズフィッティングが完了する前に、ノイズ除去出力を生成する。
• INRの連続的かつ暗黙的な表現を活用することで、外部データセットやノイズモデルの必要なしに高品質な画像再構成を実現する。

実験結果

リサーチクエスチョン

• RQ1 暗黙的ニューラル表現（INRs）は、ゼロショット盲目的地画像ノイズ除去において、畳み込みアーキテクチャよりも効果的な誘導的事前知識を提供できるか？
• RQ2 INRのトレーニングダイナミクスは、ノイズのフィッティングよりも先に綺麗な画像信号を学習する傾向を示し、その性質をノイズ除去に活用できるか？
• RQ3 INRのアーキテクチャ的深さが、高周波数画像成分およびノイズの学習に与える影響は何か？
• RQ4 層選択的正則化により、深層層におけるノイズフィッティングを抑制することで、ノイズ除去性能が向上するか？
• RQ5 提案手法のINRベースのアプローチは、低ノイズおよび実際のノイズ環境下で、最先端のブラインドスポットノイズ除去手法と比較してどのように性能を発揮するか？

主な発見

• Set9データセットにおける低ノイズ領域のガウスノイズおよびポisson-ガウスノイズの両方で、INRベースの手法は最良または同等の性能を達成した。
• FMDおよびPolyUの実際のノイズデータセットでは、INRベースの手法はSelf2Self、Noise2Fast、DIP、Noise2Void/Noise2Selfを含むすべてのベースラインを一貫して上回った。
• Self2Selfの性能はノイズレベルによって不安定であり、特にS=4の条件下で著しく劣化する一方、INRはノイズレベルに応じた安定した性能を示した。
• INRモデルはノイズよりも綺麗な画像特徴を速く学習するため、出力がノイズの入力よりも綺麗な画像に近づく時間的ウィンドウが生じる。
• 層選択的重み減衰により、深層層における高周波数ノイズへの過学習が顕著に抑制され、ノイズ除去性能が著しく向上した。
• 非ゼロ平均および複雑なノイズ分布を示す実世界のノイズ環境でも、本手法は優れた一般化性能を示した。一方、ブラインドスポット手法は、これらの条件下で失敗する傾向にあった。