[論文レビュー] CoordX: Accelerating Implicit Neural Representation with a Split MLP Architecture

Ruofan Liang, Hongyi Sun+1 more|arXiv (Cornell University)|Jan 28, 2022

Advanced Vision and Imaging被引用数 8

ひとこと要約

本論文では、入力座標の各次元を別々に処理した後、特徴を統合することで、座標に基づく暗黙的ニューラル表現の学習と推論を高速化する、Split MLPアーキテクチャ「CoordX」を提案する。この手法は、標準的なMLPと同等の精度を維持しながら最大2.92倍の高速化を達成し、画像、動画、3次元形状の分野でより速いレンダリングと学習を可能にする。

ABSTRACT

Implicit neural representations with multi-layer perceptrons (MLPs) have recently gained prominence for a wide variety of tasks such as novel view synthesis and 3D object representation and rendering. However, a significant challenge with these representations is that both training and inference with an MLP over a large number of input coordinates to learn and represent an image, video, or 3D object, require large amounts of computation and incur long processing times. In this work, we aim to accelerate inference and training of coordinate-based MLPs for implicit neural representations by proposing a new split MLP architecture, CoordX. With CoordX, the initial layers are split to learn each dimension of the input coordinates separately. The intermediate features are then fused by the last layers to generate the learned signal at the corresponding coordinate point. This significantly reduces the amount of computation required and leads to large speedups in training and inference, while achieving similar accuracy as the baseline MLP. This approach thus aims at first learning functions that are a decomposition of the original signal and then fusing them to generate the learned signal. Our proposed architecture can be generally used for many implicit neural representation tasks with no additional memory overheads. We demonstrate a speedup of up to 2.92x compared to the baseline model for image, video, and 3D shape representation and rendering tasks.

研究の動機と目的

• 座標に基づくMLPの学習および推論における高い計算コストを低減すること。
• 特に高解像度の信号において、標準的なMLPが全座標点を一度に処理する非効率性を克服すること。
• メモリオーバーヘッドを増加させることなく、推論および学習を高速化する汎用アーキテクチャの開発。
• 画像、動画、3次元形状表現や新規視点合成を含む多様なタスクにおける、より速いレンダリングと学習の実現。
• スプリットブランチにおける特徴次元の増加などのアーキテクチャ変更を通じて、速度、精度、モデル容量のトレードオフを調査すること。

提案手法

• 入力座標を個々の次元（例：x, y, z）に分解し、それぞれを別々の初期MLPブランチで処理する。
• ネットワークの第一段階で、各座標次元に対して共有された全結合層を独立して適用する。
• スプリットブランチの出力を共有された最終MLPを用いて統合し、最終的な信号予測を生成する。
• スプリットブランチの表現能力を向上させるために、次元削減量Rを導入する。
• 画像再構成のような高周波数タスクにおける信号適合性を向上させるために、SIREN初期化を適用する。
• 一貫した高速化を達成するために、画像、動画、3次元形状表現など複数のタスクにスプリットアーキテクチャを適用する。

実験結果

リサーチクエスチョン

• RQ1 MLPにおける入力座標次元を分割することで、表現精度を損なわずに計算量を削減できるか？
• RQ2 異なる信号タイプにおいて、スプリットアーキテクチャは標準MLPと比較して、学習および推論速度にどの程度の差を生じるか？
• RQ3 次元削減量Rを増加させることで、表現品質および計算効率にどのような影響を与えるか？
• RQ4 提案されたアーキテクチャは、新規視点合成や3次元再構築を含む多様な暗黙的ニューラル表現タスクに一般化可能か？
• RQ5 スプリットアーキテクチャをスケーリングする際、モデルの速度、精度、パラメータ数の間にはどのようなトレードオフが存在するか？

主な発見

• CoordXは、画像、動画、3次元形状タスクにおいて、標準的な座標ベースMLPと比較して、推論および学習で最大2.92倍の高速化を達成した。
• R=1のベースラインCoordXモデルは、標準MLPと比較してPSNRが3dB低下（40.25から37.08に）し、わずかな精度の妥協を示した。
• R++戦略を用いてRを3に増加させると、PSNRは43.55に向上し、ベースラインMLPの40.25を上回った。
• R=3、R++の場合に最大4.78MBのモデルサイズであっても、ベースラインMLPよりも学習および推論が高速であることを示しており、効率性の向上を裏付けた。
• 同じR値において、融合前のユニット数を増やすのではなく、R++戦略（各ブランチの特徴サイズを増加）を採用することで、より効果的な性能向上が得られた。
• Rを増加させることで、ベースラインモデルと同等の精度を維持した。これは、スプリットアーキテクチャが標準MLPの性能を再現または上回るようスケーリング可能であることを示している。