[論文レビュー] TriVol: Point Cloud Rendering via Triple Volumes

Tao Hu, Xiaogang Xu+2 more|arXiv (Cornell University)|Mar 29, 2023

3D Shape Modeling and Analysis被引用数 4

ひとこと要約

本稿では、点群から導出される3つのスリムで軸に沿ったボリュームから構成される軽量かつ高密度な3次元表現であるTriVolを提案する。NeRFを用いることで、高解像度で視点一貫性があり、写真のようにリアルなレンダリングを実現する。効率的な3次元ConvNetと三線形補間を用いてマルチスケール特徴を統合することで、計算コストを低減しつつ最先端のレンダリング品質を達成し、未学習の同カテゴリの物体に対しても強力なゼロショット一般化性能を示す。

ABSTRACT

Existing learning-based methods for point cloud rendering adopt various 3D representations and feature querying mechanisms to alleviate the sparsity problem of point clouds. However, artifacts still appear in rendered images, due to the challenges in extracting continuous and discriminative 3D features from point clouds. In this paper, we present a dense while lightweight 3D representation, named TriVol, that can be combined with NeRF to render photo-realistic images from point clouds. Our TriVol consists of triple slim volumes, each of which is encoded from the point cloud. TriVol has two advantages. First, it fuses respective fields at different scales and thus extracts local and non-local features for discriminative representation. Second, since the volume size is greatly reduced, our 3D decoder can be efficiently inferred, allowing us to increase the resolution of the 3D space to render more point details. Extensive experiments on different benchmarks with varying kinds of scenes/objects demonstrate our framework's effectiveness compared with current approaches. Moreover, our framework has excellent generalization ability to render a category of scenes/objects without fine-tuning.

研究の動機と目的

• 既存の点群レンダリング手法における視点不一致およびホールアーチファクトを解決すること。
• 高解像度レンダリングにおける3次元ConvNetにおける高密度3次元特徴ボリュームの非効率性を克服すること。
• すべての3次元位置で連続的な特徴照会を可能にする、軽量で判別力のある3次元表現を設計すること。
• 微調整なしに、未学習のシーンや同カテゴリの物体に対してもゼロショット一般化を可能にすること。
• TriVol表現をNeRFレンダリングパイプラインと統合し、高精細でアーチファクトが最小限の写真のようにリアルな画像を生成すること。

提案手法

• TriVolは、入力点群をボクセル化し、各空間軸に沿ってボクセルを再編成することで、3つの別々のスリムな3次元ボリュームに構成する。
• シンプルなグループ化戦略（追加のニューラルネットワークを必要としない）を用いた効率的なエンコーダーが、点群から初期TriVolを生成する。
• デコーダーは3つの独立した3次元UNetを用いて、各スリムボリュームを高密度な特徴表現に変換し、高解像度の特徴抽出を可能にする。
• 特徴TriVolは、任意の3次元点での三線形補間に基づく特徴照会を可能にし、連続的かつ判別力のある特徴を保証する。
• このフレームワークは、TriVolとNeRFレンダリングパイプラインを統合し、シャープなディテールと穴のない写真のようにリアルな画像を生成する。
• 本手法は、高解像度3次元空間（例：256³）を扱えるが、高密度ボクセルグリッドと比較して顕著にメモリとFLOPSを削減する。

Figure 2 : Overview of the proposed TriVol for point cloud rendering. (a) Encoding : Input point cloud is encoded to our Initial TriVol along $x$ , $y$ , and $z$ axis; (b) Decoding : Each volume is decoded to dense feature volume via a unique 3D UNet; (c) Feature Querying : Any point’s feature is qu

実験結果

リサーチクエスチョン

• RQ1 スパースな点群から高解像度で連続的な特徴抽出を可能にする軽量な3次元表現を設計できるか？
• RQ2 3次元表現において、局所的および非局所的マルチスケール特徴を効果的に統合する方法は何か？
• RQ3 提案手法は、新しいシーンや物体に対して微調整なしに視点一貫性があり、写真のようにリアルなレンダリングを達成できるか？
• RQ4 TriVol表現は、高密度ボクセルベースおよび2次元ベースのレンダリング手法と比較して、効率性と正確性の点でどのように優れているか？
• RQ5 本手法は、点密度が異なる点群や未学習のカテゴリに対し、どの程度一般化できるか？

主な発見

• TriVolは、10万点の学習およびテスト点を用いたShapeNetデータセットでPSNR 27.22を達成し、Point-NeRF（25.73）および他のSOTA手法を上回る性能を示した。
• 解像度256³、グループサイズG=16の条件下で、TriVolは8.47 GBのGPUメモリのみを消費し、256³の高密度ボクセルでは発生するOOM問題を回避した。
• 本手法は分布シフトに対しても強固な性能を維持する：10万点で学習した後、1万点でテストした場合でもPSNR 27.01を達成し、Point-NeRF（22.75）を上回った。
• TriVolは優れた一般化性能を示す。同じカテゴリの未学習の物体に対しても、微調整なしに高品質な画像をレンダリングできる。これは、判別力があり連続的な3次元特徴のおかげである。
• 高密度128³ボクセルと比較して、FLOPSを最大95％削減しながら、PSNRを1.69ポイント以上向上させた。
• アブレーションスタディの結果、グループ化ベースのエンコーダーは標準のポイントベースバックボーンよりも効果的であり、ScanNetでは18.56のPSNRを達成し、ベースラインより0.15の向上を示した。

Figure 3 : Qualitative point cloud rendering comparison between ours and SOTA methods and baselines on the ScanNet dataset.