[論文レビュー] ACORN: Adaptive Coordinate Networks for Neural Scene Representation

Julien Martel, David B. Lindell+4 more|arXiv (Cornell University)|May 6, 2021

3D Shape Modeling and Analysis参考文献 4被引用数 12

ひとこと要約

ACORNは、2次元および3次元シーンをスケールに応じたブロックに適応的に分割するハイブリッド暗黙的・陽解的ニューラルネットワークアーキテクチャを導入し、座標エンコーダーを用いて特徴グリッドを生成し、軽量なデコーダーを用いて効率的な推論を実現する。これにより、約40 dBのPSNRで初めてギガピクセル画像のフィッティングを達成し、3次元形状の学習時間を数日から数分に短縮するとともに、メモリ使用量を10倍以上削減した。

ABSTRACT

Neural representations have emerged as a new paradigm for applications in rendering, imaging, geometric modeling, and simulation. Compared to traditional representations such as meshes, point clouds, or volumes they can be flexibly incorporated into differentiable learning-based pipelines. While recent improvements to neural representations now make it possible to represent signals with fine details at moderate resolutions (e.g., for images and 3D shapes), adequately representing large-scale or complex scenes has proven a challenge. Current neural representations fail to accurately represent images at resolutions greater than a megapixel or 3D scenes with more than a few hundred thousand polygons. Here, we introduce a new hybrid implicit-explicit network architecture and training strategy that adaptively allocates resources during training and inference based on the local complexity of a signal of interest. Our approach uses a multiscale block-coordinate decomposition, similar to a quadtree or octree, that is optimized during training. The network architecture operates in two stages: using the bulk of the network parameters, a coordinate encoder generates a feature grid in a single forward pass. Then, hundreds or thousands of samples within each block can be efficiently evaluated using a lightweight feature decoder. With this hybrid implicit-explicit network architecture, we demonstrate the first experiments that fit gigapixel images to nearly 40 dB peak signal-to-noise ratio. Notably this represents an increase in scale of over 1000x compared to the resolution of previously demonstrated image-fitting experiments. Moreover, our approach is able to represent 3D shapes significantly faster and better than previous techniques; it reduces training times from days to hours or minutes and memory requirements by over an order of magnitude.

研究の動機と目的

• 大規模または複雑な3次元シーンや高解像度画像を扱う際の、既存のニューラルシーン表現のスケーラビリティの限界を解消すること。
• ハイブリッド暗黙的・陽解的アーキテクチャを導入することで、ニューラル表現における計算効率とメモリ使用量のトレードオフを克服すること。
• 局所的な信号の複雑さに基づいて、学習および推論中にリソース割り当てを適応的に制御することで、精度と効率の両方を向上させること。
• ニューラルネットワークを用いた高解像度画像および複雑な3次元幾何構造のフィッティングにおいて、最先端の性能を達成すること。

提案手法

• 2次元・3次元の信号領域を、クアッドツリーまたはオクトリーマネラに類似したマルチスケールのブロック・コORDINATE分解を用いて、学習中に最適化することで、信号領域を適応的に分割する。
• 座標エンコーダーが、各ブロックに対して一回の順伝播で低解像度の特徴グリッドを生成し、ネットワークの大部分のパラメータを占める。
• 軽量な特徴デコーダーにより、各ブロック内での連続的な座標評価が補間を用いて高速かつ効率的に実現される。
• 整数線形計画法を用いて、ブロック分割とネットワーク重みを同時に最適化するカスタムルーチンを用いてネットワークを学習する。
• 特徴グリッドと連続的デコードを組み合わせることで、暗黙的（座標ベース）および陽解的（グリッドベース）表現の両方をサポートする。
• 学習中に動的にリソース割り当てを調整し、局所的な複雑さが大きい領域に多くのブロックを割り当てる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルシーン表現は、高精度と効率的な推論を維持しながら、ギガピクセル画像にスケーリング可能か？
• RQ2 複雑な3次元シーンモデリングにおいて、ニューラル表現は、メモリ効率と計算速度の両立をどのように達成できるか？
• RQ3 固定グリッドや均一解像度の手法と比較して、適応的ブロック分割は表現の正確性と学習効率を向上させられるか？
• RQ4 完全に暗黙的または陽解的なニューラル表現と比較して、ハイブリッド暗黙的・陽解的アーキテクチャは、学習時間、メモリ使用量、再構成品質の観点でどれほど優れているか？

主な発見

• ACORNは、ピークサイナリオノイズ比（PSNR）が約40 dBの高精度で、初めて8192×8192のギガピクセル画像をニューラル表現にフィッティングに成功した。
• 3次元形状表現の学習時間を数日から数分に短縮し、従来手法と比較してメモリ使用量を10倍以上削減した。
• Lucy（1400万頂点）のような3次元モデルにおいて、ACORNはわずか68 MBのモデルサイズを達成し、圧縮前1.2 GBおよび圧縮後380 MBのバージョンと比較して顕著に小型化された。
• 境界領域でも高精度なフィッティングを実現しており、連続性を明示的に強制していないにもかかわらず、一部のケースでわずかなアーチファクトが観察されたにとどまった。
• 従来の画像フィッティング実験がマイクロピクセル解像度に制限されていたのに対し、ACORNは解像度スケールを1000倍向上させた。