[論文レビュー] Adaptive O-CNN: A Patch-based Deep Representation of 3D Shapes

Peng‐Shuai Wang, Chunyu Sun+2 more|arXiv (Cornell University)|Sep 21, 2018

3D Shape Modeling and Analysis参考文献 51被引用数 137

ひとこと要約

アダプティブ O-CNN はパッチ誘導型適応オクツリーを用いて3D形状を符号化/復号化し、高解像度の3D形状の符号化/生成を効率化し、従来のオクツリー/CNN アプローチと比較して形状生成を改善します。分類、自己符号化、単一画像形状予測、完了などのタスクで競争力のある精度を保ちつつ、メモリと時間の節約を実現します。

ABSTRACT

We present an Adaptive Octree-based Convolutional Neural Network (Adaptive O-CNN) for efficient 3D shape encoding and decoding. Different from volumetric-based or octree-based CNN methods that represent a 3D shape with voxels in the same resolution, our method represents a 3D shape adaptively with octants at different levels and models the 3D shape within each octant with a planar patch. Based on this adaptive patch-based representation, we propose an Adaptive O-CNN encoder and decoder for encoding and decoding 3D shapes. The Adaptive O-CNN encoder takes the planar patch normal and displacement as input and performs 3D convolutions only at the octants at each level, while the Adaptive O-CNN decoder infers the shape occupancy and subdivision status of octants at each level and estimates the best plane normal and displacement for each leaf octant. As a general framework for 3D shape analysis and generation, the Adaptive O-CNN not only reduces the memory and computational cost, but also offers better shape generation capability than the existing 3D-CNN approaches. We validate Adaptive O-CNN in terms of efficiency and effectiveness on different shape analysis and generation tasks, including shape classification, 3D autoencoding, shape prediction from a single image, and shape completion for noisy and incomplete point clouds.

研究の動機と目的

• 均一解像度のボクセルや固定オクツリー手法を超えた、効率的で高忠実度な3D形状表現と生成を動機づけ、実現する。
• 適応オクツリー階層全体で平面パッチ法線と変位を処理するエンコーダの開発。
• オクタントの占有状態を予測し、局所的な平面パッチを学習して形状を再構成するデコーダの開発。
• 分類、自己符号化、単一画像形状予測を含む複数のダウンストリームタスクでの効率性と有効性を示す。
• 適応的パッチベースのオクツリーが、類似手法より低メモリ・計算量で高品質な形状を達成できることを示す。

提案手法

• 非空の葉オクタントごとに平面パッチを格納する、パッチ誘導型適応オクツリー表現を3D形状に導入する。
• 有界な近似品質を保証するために、Hausdorff距離に基づくパッチ近似誤差を定義してオクツリーの細分化を導く。
• 局所平面パラメータからの入力を多段CNN処理系に組み込むことで、O-CNN風のエンコーダを適応オクツリー上で動作するよう拡張する。
• 3Dデコーダを設計する：(i) オクタントの状態（空、表面が良好に近似、表面が不十分に近似）を予測し、(ii) 葉オクタントの平面パッチパラメータを回帰、子孫を洗練させるためにデコンボリューションを用いる。
• 構造損失（オクタント状態のクロスエントロピー）とパッチ損失（平面パラメータ回帰、明示的な d* 制約を含む）を組み合わせたジョイント損失を用いる。
• 事前のオクツリ CNN 基盤を、ボトムアップの葉レベル特徴集約とトップダウンのパッチベースデコーディングをサポートするよう適応させ、効率化を達成する。

実験結果

リサーチクエスチョン

• RQ1 パッチ誘導型適応オクツリー表現は、均一ボクセルや固定深度オクツリーと比較して、メモリと計算量を削減しつつ高品質な3D形状を生み出せるか。
• RQ2 葉オクタントで平面パッチパラメータを組み込むと、再構成形状の表面忠実度と細部が向上するか。
• RQ3 最先端手法と比較して、形状分類、3D自己符号化、単一画像形状予測タスクでの適応O-CNNの性能はどうか。
• RQ4 オクツリー深度とパッチ忠実度を変えると、精度と効率のトレードオフはどうなるか。
• RQ5 提案されたデコーダは、オクタント占有と適応分割を信頼性高く推定し、 watertightで高品質な表面を生成できるか。

主な発見

• アダプティブ O-CNN は、解像度を問わず O-CNN と同程度の分類精度を達成しつつ、特に高解像度でメモリおよび計算コストを大幅に削減する（例えば 2563 対 1283 入力でメモリと時間の節約が見られる）。
• ModelNet40 分類で、Adaptive O-CNN は最先端手法と競合し、O-CNNと同程度の精度を示し、他の強力なベースラインにほぼ並ぶ。
• ShapeNet Core v2 の 3D 自己符号化で、Adaptive O-CNN は比較対象手法（AtlasNet 系統と PSG）の平均で最良の Chamfer 距離性能を達成し、多くのカテゴリで表面忠実度と体積構造再構成が高いことを示す。
• デコーダのジョイント構造とパッチ損失により、薄い部分の処理が改善され、体積構造を保持し、パッチベースや純 Chamfer 距離駆動アプローチで見られる歪みを低減する。
• 単一画像からの形状予測やノイズ/欠損点群の形状補完を実証しており、パッチ誘導型適応オクツリーを3D形状分析と生成の一般的なフレームワークとして検証している。
• 従来のオクツリーベース手法と比較して、パッチ誘導適応は質的・量的な形状品質を損なうことなく、より高い希少性と効率を実現する。