[論文レビュー] Signal Processing for Implicit Neural Representations

Dejia Xu, Peihao Wang+3 more|arXiv (Cornell University)|Oct 17, 2022

Advanced Neural Network Applications被引用数 11

ひとこと要約

本稿では、符号化なし・離散化なしに、暗黙的ニューラル表現（INRs）上で直接的・微分可能な信号処理を実現する新規フレームワーク、INSP-Netを提案する。閉形式の高次微分作用素と学習可能な重み付けを活用することで、INSP-Netは連続畳み込みフィルタを近似し、INRベースのモデル（例：INSP-ConvNet）のエンドツーエンド学習を可能にした。この手法により、暗黙的関数上での低レベル画像処理および高レベル分類タスクにおいて、最先端の性能を達成した。

ABSTRACT

Implicit Neural Representations (INRs) encoding continuous multi-media data via multi-layer perceptrons has shown undebatable promise in various computer vision tasks. Despite many successful applications, editing and processing an INR remains intractable as signals are represented by latent parameters of a neural network. Existing works manipulate such continuous representations via processing on their discretized instance, which breaks down the compactness and continuous nature of INR. In this work, we present a pilot study on the question: how to directly modify an INR without explicit decoding? We answer this question by proposing an implicit neural signal processing network, dubbed INSP-Net, via differential operators on INR. Our key insight is that spatial gradients of neural networks can be computed analytically and are invariant to translation, while mathematically we show that any continuous convolution filter can be uniformly approximated by a linear combination of high-order differential operators. With these two knobs, INSP-Net instantiates the signal processing operator as a weighted composition of computational graphs corresponding to the high-order derivatives of INRs, where the weighting parameters can be data-driven learned. Based on our proposed INSP-Net, we further build the first Convolutional Neural Network (CNN) that implicitly runs on INRs, named INSP-ConvNet. Our experiments validate the expressiveness of INSP-Net and INSP-ConvNet in fitting low-level image and geometry processing kernels (e.g. blurring, deblurring, denoising, inpainting, and smoothening) as well as for high-level tasks on implicit fields such as image classification.

研究の動機と目的

• 暗黙的ニューラル表現（INRs）の符号化なし・離散化なしでの編集という課題に取り組むこと。
• INRsのコンactかつ連続的な性質を保ちながら、連続的で微分可能な信号処理フレームワークを構築すること。
• 連続畳み込みフィルタが、高次微分作用素の線形結合によって一様に近似可能であることを示すこと。
• 暗黙的関数上を直接処理する最初の畳み込みニューラルネットワーク（INSP-ConvNet）を構築すること。
• 画像処理および音声ノイズ除去を含む多様なタスクにおいてフレームワークを検証し、符号化なしに優れた性能を示すこと。

提案手法

• 解析的高次微分を用いてINRs上で直接処理を行う微分可能な信号処理ネットワークであるINSP-Netを提案する。
• 空間的高次微分（例：勾配、ラプラシアン）の計算グラフを、信号変換の基底関数として用いる。
• 学習可能な重み付け機構（インセプション型統合）により微分ブランチを統合し、重みはエンドツーエンドで学習する。
• 任意の連続畳み込みカーネルが、高次微分作用素の線形結合によって一様に近似可能であるという理論的証明を基盤とする。
• 各層が前の層の微分を学習可能な重みで結合することで畳み込みフィルタを模倣する、INSP-Net層を段階的に積み重ねることでINSP-ConvNetを構築する。
• 座標レベルの入力摂動によるデータ拡張をサポートし、暗黙的表現の性質を保持する。

実験結果

リサーチクエスチョン

• RQ1 INRs上で信号処理操作を、符号化なし・離散化なしに実行可能か？
• RQ2 高次微分作用素を解析的に用いることで、連続領域上での任意の連続畳み込みフィルタを近似可能か？
• RQ3 INRのパrameter上に、学習可能で微分可能な信号処理作用素を直接構築できるか？
• RQ4 ピクセルレベルのアクセスなしに、完全な畳み込みニューラルネットワークを暗黙的ニューラル表現上で学習・実行可能か？
• RQ5 INSP-NetおよびINSP-ConvNetは、暗黙的関数上での低レベルおよび高レベルのビジョンタスクにどの程度一般化可能か？

主な発見

• INSP-Netは画像ノイズ除去において競争力のある性能を示し、DIV-2kテストセットでPSNR 23.86、SSIM 0.65を達成。平均フィルタリングやMPRNet、MAXIMと比較して主要指標で優れた結果を示した。
• フレームワークは、エッジ検出、ぼかし、デブラーイング、穴埋め、幾何学的滑らかさの向上をINRs上で直接実行でき、視覚的結果が真値と高い類似度を示した。
• 音声ノイズ除去の実験から、SIRENベースのINRsに符号化されたノイズ混在音声信号の復元にINSP-Netが効果的に機能し、入力と比較して視覚的・定量的改善が得られた。
• INSP-ConvNetは、ピクセルの復号なしに、暗黙的関数表現のみを用いて画像分類タスクで優れた性能を示し、INRs上でエンドツーエンド学習が可能であることを実証した。
• 理論的分析により、連続畳み込み作用素が高次微分作用素の線形結合によって一様に近似可能であることが確認され、フレームワーク設計の妥当性が裏付けられた。
• アブレーションスタディの結果、INSP-Netにおける学習可能な統合機構が性能向上に不可欠であり、手動で設定した重みでは劣る結果が得られた。