[論文レビュー] NeuralSampler: Euclidean Point Cloud Auto-Encoder and Sampler

Edoardo Remelli, Pierre Baqué+1 more|arXiv (Cornell University)|Jan 27, 2019

3D Shape Modeling and Analysis参考文献 21被引用数 15

ひとこと要約

NeuralSamplerは、形状生成と表面サンプリングを分離することで、学習可能なサンプリング層を用いて任意サイズの出力点群を生成可能な、完全畳み込み型オートエンコーダーを提案する。ボクセル化された占有マップとユークリッドグリッド上の特徴ベースのサンプリングを用いることで、従来手法の半数以下のパラメータで、点群分類およびスーパーレゾリューションにおいて最先端の性能を達成する。

ABSTRACT

Most algorithms that rely on deep learning-based approaches to generate 3D point sets can only produce clouds containing fixed number of points. Furthermore, they typically require large networks parameterized by many weights, which makes them hard to train. In this paper, we propose an auto-encoder architecture that can both encode and decode clouds of arbitrary size and demonstrate its effectiveness at upsampling sparse point clouds. Interestingly, we can do so using less than half as many parameters as state-of-the-art architectures while still delivering better performance. We will make our code base fully available.

研究の動機と目的

• 3次元点群学習における固定出力サイズの生成モデルの制限を解決すること。これにより、動的解像度調整が制限され、訓練の複雑さが増加する。
• 特にアップサンプリングと表現学習において性能を損なわずに、3次元点群用オートエンコーダーのモデルパラメータを削減すること。
• 形状表現とサンプリングを分離することで、任意サイズの点群生成を可能にし、推論時に動的解像度調整を可能にすること。
• グリッドベースの特徴学習を活用した軽量でパラメータ効率の良いアーキテクチャにより、疎な点群のスーパーレゾリューションを改善すること。

提案手法

• モデルは入力点群をボクセルグリッドで表現し、各ボクセルごとに占有確率と局所的幾何的特徴をエンコードする。
• 完全畳み込み型エンコーダーがボクセルグリッドを処理し、表面領域とボクセル中心からの局所的位置をエンコードした潜在ベクトルを生成する。
• 学習可能なサンプリング層が潜在ベクトルから3次元オフセットを生成し、表面領域の推定値に応じて、基数（点数）が変動する非決定的点群セットを生成する。
• デコーダーを複数回通すことで、1回の順伝播で任意サイズの高解像度点群を生成可能となる。
• 共有重みを用いたフォールディング型デコーダーを採用することで、パラメータを削減しながらも高品質な出力を維持する。
• 標準の再構成損失を用いてエンドツーエンドで訓練され、訓練中にランダム回転によるデータオーグメンテーションが行われる。

実験結果

リサーチクエスチョン

• RQ1 深層オートエンコーダーは、既存手法と比較して顕著に少ないパラメータで、任意サイズの3次元点群を生成可能か？
• RQ2 形状生成とサンプリングの分離は、3次元点群表現学習における柔軟性と性能をどのように向上させるか？
• RQ3 グリッドベースの潜在表現は、疎な点群の高品質なスーパーレゾリューションをどの程度可能にするか？
• RQ4 パラメータ効率の良いアーキテクチャは、分類およびスーパーレゾリューションベンチマークでSOTAモデルを上回る性能を発揮するか？

主な発見

• NeuralSamplerはModelNet10およびModelNet40ベンチマークで最先端の性能を達成し、顕著に少ないパラメータで、従来手法を上回る分類精度を実現した。
• ModelNet40では、デコーダーにたった463,000パラメータを用いており、2番目に優れた手法（Yang et al., 2018）の半分、ベースライン（Achlioptas et al., 2018）の20分の1に満たない。
• スーパーレゾリューションにおいて、Yu et al. (2018) ベンチマークで平均距離0.54×10⁻²を達成し、PointNet++やPUNetを上回り、リプulsion損失を用いないにもかかわらず、最高の均一性（NUC）性能に匹敵した。
• 非常に疎な入力（例：256点）でも高い出力品質を維持しており、低解像度入力に対する頑健性を示した。
• サンプリング層により動的解像度制御が可能である：繰り返し順伝播により、徐々に密度が高くなる点群が生成され、任意の空間解像度が得られる。
• グリッドベースの潜在表現は、細かな幾何的詳細を保持しつつ、効率的でパラメータが少ない学習を可能にした。特に粗いボクセルグリッド上でも顕著である。