[論文レビュー] PIP: Positional-encoding Image Prior

Nimrod Shabtay, Eli Schwartz+1 more|arXiv (Cornell University)|Nov 25, 2022

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本稿では、Deep Image Prior (DIP) のランダムな潜在コードをフーリエ特徴量（位置符号化）に置き換えることで、パラメータ数を著しく削減しながらも DIP の性能と同等の結果を達成できる新しいフレームワーク、Positional-Encoding Image Prior (PIP) を提案する。PIP は、特に 3D-DIP が不安定さのため失敗する動画のノイズ除去やスーパーレンジングにおいて、最先端の性能を達成する。

ABSTRACT

In Deep Image Prior (DIP), a Convolutional Neural Network (CNN) is fitted to map a latent space to a degraded (e.g. noisy) image but in the process learns to reconstruct the clean image. This phenomenon is attributed to CNN's internal image-prior. We revisit the DIP framework, examining it from the perspective of a neural implicit representation. Motivated by this perspective, we replace the random or learned latent with Fourier-Features (Positional Encoding). We show that thanks to the Fourier features properties, we can replace the convolution layers with simple pixel-level MLPs. We name this scheme ``Positional Encoding Image Prior" (PIP) and exhibit that it performs very similarly to DIP on various image-reconstruction tasks with much less parameters required. Additionally, we demonstrate that PIP can be easily extended to videos, where 3D-DIP struggles and suffers from instability. Code and additional examples for all tasks, including videos, are available on the project page https://nimrodshabtay.github.io/PIP/

研究の動機と目的

• 構造的ノイズをRGB値にマッピングするニューラルインプリシットモデルとして Deep Image Prior (DIP) を再解釈すること。
• 位置符号化（フーリエ特徴量）が DIP のランダムな潜在コードを置き換え可能であり、画像の事前分布効果を維持できるかを調査すること。
• MLP にフーリエ特徴量を用いることで、DIP の代替としてパラメータ効率的な手法を構築し、モデルの複雑さを低減すること。
• 時間的整合性と安定性に欠ける 3D-DIP の限界を克服するため、動画復元に向けたフレームワークの拡張を図ること。
• PIP がノイズやスパarsな入力に対しても良好に一般化できることを示し、画像および動画タスク（ノイズ除去、スーパーレンジング、CLIP の逆問題）に応用可能であることを検証すること。

提案手法

• 空間座標を符号化するため、DIP のランダムな潜在入力をフーリエ特徴量（位置符号化）に置き換える。
• 深層畳み込みニューラルネットワーク（CNN）の代わりに、フーリエ特徴量のスペクトルバイアス補正効果を活用した単純なピクセル単位のMLP（1×1畳み込み）を採用する。
• 線形ネットワークの場合に、フーリエ特徴量を用いたMLPと、ランダム入力を用いたCNNが等価であることを証明する。
• 2D-PIP フレームワークを動画処理に適応させるために、時間的座標に対しても位置符号化を追加し、3D に拡張する。
• 特徴量の階層を保持するため、スキップ接続と U-Net 構造を維持しつつ、畳み込み層をMLPに置き換える。
• 初期ストッピングを正則化手法として用い、符号化された座標からRGBピクセル値へのマッピングをエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 フーリエ特徴量が DIP のランダムな潜在コードの効果的な代替として機能し、画像の事前分布能力を維持できるか？
• RQ2 位置符号化を用いる場合、DIP の畳み込みエンコーダーを単純なMLPに置き換えることは可能か？
• RQ3 パラメータ数を削減した状態で、PIP は DIP と同等またはそれ以上の画像復元性能を達成できるか？
• RQ4 3D-DIP が不安定さや時間的整合性の欠如に苦しむ動画復元タスクにおいて、PIP は効果的に拡張可能か？
• RQ5 PIP における位置符号化の使用が、NeRF や類似するインプリシットモデルがノイズやスパースな入力に対しても成功する理由を説明できるか？

主な発見

• 動画ノイズ除去において、PIP は PSNR 29.29、3D-SSIM 0.90 を達成し、3D-DIP より +3dB のPSNR向上と +0.08 の3D-SSIM 向上を実現した。
• 3D-PIP は 3D-DIP よりもパラメータ数を6倍削減しながら、より優れた再構成性能と時間的整合性を達成した。
• ノイズ除去（σ=25）において、PIP は PSNR 26.17 を達成し、DIP と同等の 26.35 を達成するが、はるかに少ないパラメータ数で実現した。
• スーパーレンジング（x4）において、PIP は PSNR 25.45、3D-SSIM 0.78 を達成し、DIP の 25.54 と 0.81 と同等の性能を示した。
• 動画タスクにおいて、3D-PIP は 2D-DIP や 2D-PIP よりも優れた性能を示し、時間的整合性と再構成品質の両面で優位性を示した。
• PIP を用いた CLIP の逆問題処理により、DIP と同程度の高品質な画像が生成され、その生成能力が妥当であることが検証された。