[論文レビュー] WIRE: Wavelet Implicit Neural Representations

Vishwanath Saragadam, Daniel LeJeune+4 more|arXiv (Cornell University)|Jan 5, 2023

Image and Signal Denoising Methods被引用数 7

ひとこと要約

WIREは、正弦波の周波数コンpaktnネスとガウス非線形性の空間コンパクトネスを組み合わせた連続的複素Gaborウェーブレット活性化関数を用いた、新しい暗黙的ニューラル表現を導入する。この設計により、画像再構成、スーパーレゾリューション、ニューラルレイトランスフィールド（NeRF）など、多様なビジョンタスクにおいて、限られたデータやノイズが存在する状況でも、精度、学習速度、耐性の面で最先端の性能を達成する。

ABSTRACT

Implicit neural representations (INRs) have recently advanced numerous vision-related areas. INR performance depends strongly on the choice of the nonlinear activation function employed in its multilayer perceptron (MLP) network. A wide range of nonlinearities have been explored, but, unfortunately, current INRs designed to have high accuracy also suffer from poor robustness (to signal noise, parameter variation, etc.). Inspired by harmonic analysis, we develop a new, highly accurate and robust INR that does not exhibit this tradeoff. Wavelet Implicit neural REpresentation (WIRE) uses a continuous complex Gabor wavelet activation function that is well-known to be optimally concentrated in space-frequency and to have excellent biases for representing images. A wide range of experiments (image denoising, image inpainting, super-resolution, computed tomography reconstruction, image overfitting, and novel view synthesis with neural radiance fields) demonstrate that WIRE defines the new state of the art in INR accuracy, training time, and robustness.

研究の動機と目的

• 既存の暗黙的ニューラル表現（INRs）における精度と耐性のトレードオフを解消すること。
• 画像ノイズ除去、穴埋め、スーパーレゾリューション、およびコンputedトモグラフィ（CT）再構成などの逆問題におけるINR性能を向上させること。
• 特に限られたデータやノイズが混在する状況でも、INRの高速かつ高精度な学習を可能にすること。
• 高周波数およびエッジ豊富な信号特徴に強いインダクティブバイアスを持つINRを開発すること。
• 少ない学習ビューで、NeRFにおける高品質な新視点合成を達成すること。

提案手法

• INRのMLPにおける活性化関数として、空間周波数濃度が最適な連続的複素Gaborウェーブレットを提案する。
• Gaborウェーブレットの時間領域および周波数領域における二重局在性を活用し、画像および信号の表現を向上させる。
• 位相と振幅情報を捉える複素数値活性化関数を採用し、モデル化能力を強化する。
• 複素数重みによるパラメータ二重化を補うために、ネットワーク幅を√2で縮小（例：182 → 128）する。
• 位置符号化を回避して非線形性の影響を隔離するため、標準的な最適化と学習率スケジューリングを用いてINRを学習する。
• PSNR、SSIM、視覚的整合性を用いて、画像ノイズ除去、スーパーレゾリューション、CT、NeRF、過学習の多様なタスクで性能を評価する。

Figure 1 : Wavelet implicit neural representation (WIRE). We propose a new nonlinearity for implicit neural representations (INRs) based on the continuous complex Gabor wavelet that has high representation capacity for visual signals. The top row visualizes two commonly used nonlinearities: SIREN wi

実験結果

リサーチクエスチョン

• RQ1 INRにおけるウェーブレットベースの活性化関数は、SIREN や ReLU などの既存の非線形性よりも高い精度と耐性を達成できるか？
• RQ2 Gaborウェーブレット活性化関数は、わずかな投影数でのCT再構成などの不適切に定式化された逆問題において、どのように性能を向上させるか？
• RQ3 WIREは、画像再構成タスクにおいて、リバーブやぼやけを引き起こすアーティファクトをどの程度低減できるか？
• RQ4 WIREは、ベースラインと比較して、少ない学習画像で高品質な新視点合成をNeRFで達成できるか？
• RQ5 GaborベースのINRは、高周波数およびエッジ豊富なコンテンツを含む多様な信号タイプに、より優れた一般化性能を示すか？

主な発見

• CT再構成において、WIREは16枚の投影でさえも、他のすべての非線形性を上回る最高のPSNRを達成する。
• マルチ画像スーパーレゾリューションにおいて、WIREはSIRENを1dB以上上回り、SSIMは0.04高い結果を示し、特徴の鋭い再構成を実現する。
• ドラムスデータセットにおけるNeRFでは、25、50、75枚の学習画像でSIRENよりも0.1dB高いPSNRを達成し、100枚では0.4dB高いPSNRを記録する。
• NeRFにおいて、25枚の学習画像でのみ使用しても、WIREは2500エポック以内に高速に収束し、より高い精度に到達する。一方、ReLU+PEは100枚のすべての画像と、より長い学習時間を要する。
• 視覚的結果では、WIREが最も正確でアーティファクトのない再構成を生成しており、特に高周波数領域ではリバーブ（SIREN）や曇り（ガウス）を回避する。
• WIREはノイズやアンダーサンプリングに対して優れた耐性を示し、限られたまたは劣化したデータを伴う現実世界の逆問題において効果的である。

(a) Implicit bias with NTK gradient flow