[論文レビュー] Multiresolution Tree Networks for 3D Point Cloud Processing

Matheus Gadelha, Rui Wang+1 more|arXiv (Cornell University)|Jul 10, 2018

3D Shape Modeling and Analysis参考文献 4被引用数 42

ひとこと要約

MRTNet は多解像度の木構造ネットワークを導入し、3D 点群を処理することで、効率的で正確な形状分類と直接的な点群生成を実現し、ModelNet40 および ShapeNet のタスクで高い性能を示します。

ABSTRACT

We present multiresolution tree-structured networks to process point clouds for 3D shape understanding and generation tasks. Our network represents a 3D shape as a set of locality-preserving 1D ordered list of points at multiple resolutions. This allows efficient feed-forward processing through 1D convolutions, coarse-to-fine analysis through a multi-grid architecture, and it leads to faster convergence and small memory footprint during training. The proposed tree-structured encoders can be used to classify shapes and outperform existing point-based architectures on shape classification benchmarks, while tree-structured decoders can be used for generating point clouds directly and they outperform existing approaches for image-to-shape inference tasks learned using the ShapeNet dataset. Our model also allows unsupervised learning of point-cloud based shapes by using a variational autoencoder, leading to higher-quality generated shapes.

研究の動機と目的

• Voxelization やビューに基づく代替手法を使わずに、3D 点群を直接処理する多解像度の木構造ネットワークを開発する。
• エンコーダ–デコーダ（および VAE）フレームワークを通じて、正確な形状分類、画像から形状への推論、および教師なし形状学習を実現する。
• 1D 点順序付けにおける 3D 構造を保持しつつ、3 スケールのマルチグリッドアーキテクチャを通じて局所性とスケーラビリティを維持する。
• トレーニング時の収束の速さとメモリ使用量の削減のための多解像度処理の利点を検討する。

提案手法

• 3D 形状を、空間分割木（KD-tree または RP-tree）を用いて、多解像度で局所性を保つ 1D の順序付けられた点列として表現する。
• 1D 点列を 1D 畳み込みで処理し、解像度を越えて情報を融合する three-scale の multi-grid MR-CONV ブロックを組み込み、アップサンプリングとプーリングを用いて情報を統合する。
• 分類などのタスクのために潜在表現 z（512-D）を生成するエンコーダを使用し、ModelNet40 分類のための全結合層を付与する。
• 点 clouds を直接生成する多解像度デコーダ（MR-CONV-T ブロック）を用い、Chamfer 距離ベースの損失を適用できるようにする。
• 画像から形状への推論のために、事前学習済みの画像エンコーダ（VGG-11）と組み合わせるオプションを提供し、再構成損失として Chamfer 距離を用いて訓練する。
• MR-VAE を用いた教師なし学習へ拡張し、エンコーダの出力が z、デコーダが点群を再構成するようにして、ガウス分布 N(0,I) へのモーメント整合正則化子を用いる。

実験結果

リサーチクエスチョン

• RQ1 多解像度で木構造化された点群表現は、単一スケールの点ベースモデルと比較して分類精度を向上させるか。
• RQ2 MRTNet は voxel 化やビューに基づく合成を使わずに、直接的な形状生成および画像から形状への推論を可能にするように点群をエンコード／デコードできるか。
• RQ3 多解像度アーキテクチャはトレーニング時の収束速度とメモリ効率を改善するか。
• RQ4 MR-VAE による教師なし学習は、ダウンストリームのタスクに有用な高品質な潜在形状表現を生み出せるか。
• RQ5 MRTNet は従来手法と比較して、形状分割やクロスドメイン生成（例：image-to-3D）でどのように性能を発揮するか。

主な発見

手法	精度（ModelNet40）
MVCNN	90.1
MVCNN-MultiRes	91.4
KDNet (1K pts)	90.6
PointNet	89.2
PointNet++ (1K pts)	90.7
MRTNet (1K pts)	91.2
MRTNet (4K pts)	91.7
KDNet (32K pts)	91.8
PointNet++ (5K pts)	91.9
OctNet	86.5
O-CNN	90.6

• MRTNet は 4K 点を用いた場合 ModelNet40 で 91.7% の精度を達成し、XYZ データのみを使用するいくつかの点ベース手法を上回る。
• 1K 点で MRTNet は 91.2% の精度に達し、ベースラインの単一解像度バリアントや多くの以前の点ベースアーキテクチャを上回る。
• 多解像度デコーダは点群生成を直接可能にし、ShapeNet における画像から形状への推論のための損失として Chamfer 距離を用いて、いくつかの競合手法より高品質な形状を提供する。
• 教師なし MR-VAE 訓練は、MR-VAE エンコーダの特徴を用いた下流の分類で 86.4% の精度を示し、学習された表現の強さを示唆する。
• MR-Net のバリアントは、単一スケールのベースラインと比較して収束が速く、メモリ使用量が少なくなる一方で、タスク全体で精度を維持または向上させる。
• 定性的な結果として、MRTNet は生成された点群の空間的構造を一貫して保持し、潜在空間内で形状間の補間が可能であることを示す。