[論文レビュー] NeAT: Neural Adaptive Tomography

Darius Rückert, Yuanhao Wang+3 more|arXiv (Cornell University)|Feb 4, 2022

Computer Graphics and Visualization Techniques被引用数 8

ひとこと要約

NeATは、学習可能なニューラル特徴を備えたハイブリッド明示的・暗黙的オクソリーム表現を用いた、トモグラフィック再構成のための新しい適応的で階層的なニューラルレンダリングパイプラインを導入する。微分可能で効率的なレイトラーシングと自己キャリブレーション可能な幾何学的・放射的再構成を可能にすることで、最適化ベースのソルバーや既存のニューラル手法と比較して、特にスパarsely視、限られた角度、ノイズが多い設定において優れた再構成品質と高速性を達成する。

ABSTRACT

In this paper, we present Neural Adaptive Tomography (NeAT), the first adaptive, hierarchical neural rendering pipeline for multi-view inverse rendering. Through a combination of neural features with an adaptive explicit representation, we achieve reconstruction times far superior to existing neural inverse rendering methods. The adaptive explicit representation improves efficiency by facilitating empty space culling and concentrating samples in complex regions, while the neural features act as a neural regularizer for the 3D reconstruction. The NeAT framework is designed specifically for the tomographic setting, which consists only of semi-transparent volumetric scenes instead of opaque objects. In this setting, NeAT outperforms the quality of existing optimization-based tomography solvers while being substantially faster.

研究の動機と目的

• スパarsely視、限られた角度範囲、または高ノイズなどの不適切なトモグラフィックデータから3Dボリュームシーンを再構成する課題に対処すること。
• 既存のニューラル逆レンダリングおよび最適化ベースのトモグラフィー・ソルバーの高い計算コストを克服しつつ、再構成品質を向上させること。
• 再構成中に幾何学的および光度的自己キャリブレーションを可能にする、微分可能な物理的に妥当なセンサーモデルを導入すること。
• 適応的オクソリームサンプリングとニューラル特徴を活用し、複雑な領域に計算を集中させながら空領域を除外する、効率的でGPU最適化されたフレームワークを開発すること。
• 合成および実世界のトモグラフィックデータセットにおいて、再構成品質と推論速度の両面で最先端の性能を示すこと。

提案手法

• 各リーフノードが小さなニューラル特徴ボリュームを格納する適応的オクソリーム構造を採用し、3Dシーンの階層的で明示的な表現を可能にする。
• レイオクソリームの交差を計算し、レイに沿ってニューラル特徴をサンプリングする微分可能なレイトラーシングパイプラインを用い、その後重み付き統合により光度レンダリングを実行する。
• サンプリングされた特徴を放射度値にマップするニューラルデコーダー・ネットワークを統合し、その後光度キャリブレーションモジュールを経て最終的なピクセル強度を出力する。
• オクソリーム構造、ニューラル特徴、デコーダー重み、および幾何学的／光度的キャリブレーションパラメータを含むパイプライン全体をバックプロパゲーションを用いてエンドツーエンド最適化する。
• PyTorchの自動微分を活用し、前方および逆投影演算子（例：反復的ソルバーにおけるAとA^T）の明示的実装を必要とせず、勾配を効率的に計算する。
• 複雑な領域に計算リソースを動的に割り当てるとともに空領域を除外する適応的リファインメントを適用し、効率性とメモリ使用量を向上させる。

実験結果

リサーチクエスチョン

• RQ1 適応的オクソリーム構造を有するハイブリッド明示的・暗黙的ニューラル表現は、純粋に暗黙的または純粋に明示的な表現と比較して、トモグラフィック逆レンダリングの再構成品質と速度の面で優れているか？
• RQ2 微分可能なレンダリングに基づく最適化は、従来の最適化ベースのトモグラフィー・ソルバーと比較して、不適切な設定（例：スパarsely視）下でより優れた再構成品質を達成できるか？
• RQ3 提案された自己キャリブレーション機構は、幾何学的および光度的誤差を含む実世界データを処理する上でどれほど効果的か？
• RQ4 適応的オクソリーム表現は、トモグラフィーのように広範囲に散らばったサンプルを持つボリュームシーンにおいて、メモリと計算を効率的に管理できるか？
• RQ5 ニューラル特徴を正則化子として用いることで、低信号またはスパarsely視状況下での再構成忠実度が向上するか？

主な発見

• NeATは、特にスパarsely視および限られた角度設定下で、PSART-TVなどの最先端の最適化ベースのトモグラフィー・ソルバーよりも優れた再構成品質を達成する。
• ニューラルアーキテクチャを有するにもかかわらず、PSART-TVなどの高度な最適化ベース手法と同等の計算性能を示し、効率的なGPU加速微分レンダリングのおかげで著しく高速な推論を実現する。
• 適応的オクソリーム構造により、空領域の効果的な除外と複雑な領域へのサンプル集中が可能となり、正確さを損なわずメモリおよび計算コストを削減する。
• 幾何学的および光度的自己キャリブレーション機構は、実世界データにおけるわずかな誤差を効果的に是正し、再構成忠実度を向上させる。
• ノイズや限られた角度カバレッジに対してロバストであり、従来の手法が失敗する状況でも物理的に妥当な再構成を生成する。
• 微分可能なレンダリングフレームワークにより、反復的ソルバーで必要となる複雑で正確な転置演算子（例：AとA^T）の実装と保守の必要がなくなり、GPUへの移植と最適化が簡素化される。