[論文レビュー] BACON: Band-limited Coordinate Networks for Multiscale Scene Representation

David B. Lindell, Dave Van Veen+2 more|arXiv (Cornell University)|Dec 9, 2021

Advanced Vision and Imaging被引用数 7

ひとこと要約

BACONは、各層におけるスペクトル帯域幅を解析的に制御する帯域制限付き座標ネットワークを導入し、各スケールの監視なしにマルチスケールのシーン表現を可能にしている。フーリエスペクトルを制約することで、監視されていない点でも予測可能な挙動を保証し、適応的周波数プルーニングによりSDF評価を80倍高速化し、1スケールネットワークを上回る3D再構築とニューラルレンダリングの性能を達成している。

ABSTRACT

Coordinate-based networks have emerged as a powerful tool for 3D representation and scene reconstruction. These networks are trained to map continuous input coordinates to the value of a signal at each point. Still, current architectures are black boxes: their spectral characteristics cannot be easily analyzed, and their behavior at unsupervised points is difficult to predict. Moreover, these networks are typically trained to represent a signal at a single scale, so naive downsampling or upsampling results in artifacts. We introduce band-limited coordinate networks (BACON), a network architecture with an analytical Fourier spectrum. BACON has constrained behavior at unsupervised points, can be designed based on the spectral characteristics of the represented signal, and can represent signals at multiple scales without per-scale supervision. We demonstrate BACON for multiscale neural representation of images, radiance fields, and 3D scenes using signed distance functions and show that it outperforms conventional single-scale coordinate networks in terms of interpretability and quality.

研究の動機と目的

• 従来の座標ネットワークがブラックボックス的で、監視されていない点での挙動が予測不能であるという欠如を是正する。
• 画像、放射場、3Dシーンなどのマルチスケール信号表現を、各スケールの監視や再訓練を必要とせずに可能にする。
• 中間活性化のフーリエスペクトルを明示的にモデル化することで、座標ネットワークのスペクトル解析フレームワークを構築する。
• SDFベースのメッシュ抽出の推論効率を、適応的周波数評価とマルチスケールプルーニング戦略によって向上させる。

提案手法

• 各層で指定された帯域幅 $[-B_i, B_i]$ 内に初期化された周波数を持つ乗法的フィルタネットワークと正弦活性化関数を設計する。
• 各層での出力帯域幅が入力帯域幅の合計に等しくなるように保証し、ネットワークのスペクトル応答を初期化段階から解析的に制御可能にする。
• 帯域制限付き活性化関数を用いて中間特徴のフーリエスペクトルを制限し、監視されていない座標でもネットワークの挙動が予測可能になるようにする。
• SDFメッシュ抽出時に適応的周波数評価を適用する：$| ext{SDF}| < \tau$（$\tau = 0.7 \times$ 最細ボクセルサイズ）の時点で計算を早期終了させ、評価コストを削減する。
• マルチスケールグリッド戦略を実装し、精細な段階に進む前に粗い段階で $| ext{SDF}| > \bar{\rho}R$（$\rho=2$）をチェックして空領域をプルーニングすることで、メッシュ抽出を高速化する。
• 適応的周波数評価とマルチスケールグリッドを組み合わせ、RTX A6000 GPU上でネイティブな密グリッド評価に比べ80倍の高速化を達成する。

実験結果

リサーチクエスチョン

• RQ1 解析的に制御可能なスペクトル帯域幅を備えた座標ネットワークを設計することで、解釈可能性とスケール認識を向上させることは可能か？
• RQ2 中間特徴のフーリエスペクトルを制約することで、一般化性能と監視されていない点での挙動にどのような影響を与えるか？
• RQ3 明示的な各スケールの監視なしに、帯域制限付き座標ネットワークは複数スケールの信号を表現可能か？
• RQ4 適応的周波数評価とマルチスケールプルーニングは、SDFベースのメッシュ抽出をどの程度高速化できるか？
• RQ5 帯域制限付きネットワークは、マルチスケール3Dシーン再構築とニューラルレンダリングにおいて、従来の1スケールネットワークと比較してどの程度優れているか？

主な発見

• BACONは、適応的周波数評価とマルチスケールプルーニングを用いて、ネイティブな評価に比べて密グリッド上でのSDF評価を80倍高速化している。
• 3Dシーン再構築において、1スケールネットワークを上回り、高解像度ベースラインと同等のチェンファーディスタンスとIOUを達成しているが、すべてのスケールを同時に表現しているにもかかわらずである。
• 出力層が帯域制限されているため、BACONは複数スケールで滑らかでアーティファクトのない再構築を生成する。一方、ReLUベースのネットワークは高周波数漏れにより角ばったアーティファクトを示す。
• 解析的に定義されたフーリエスペクトルのおかげで、監視されていない点でもネットワークの挙動が証明可能に制限されており、信頼性のある外挿が可能である。
• 周波数初期化の最適化により、次世代のマルチスケール画像フィッティング、ニューラル放射場、3Dシーン表現で最先端の性能を達成しており、各スケールの監視は不要である。
• 次元の呪いにより高次元信号のフィッティングが困難であるにもかかわらず、本手法は効果的かつスケーラブルであり、特に周波数初期化の最適化がなされている場合に顕著である。