[論文レビュー] GRNet: Gridding Residual Network for Dense Point Cloud Completion

Haozhe Xie, Hongxun Yao+4 more|arXiv (Cornell University)|Jun 6, 2020

3D Shape Modeling and Analysis参考文献 53被引用数 30

ひとこと要約

GRNetは differentiable Gridding, Gridding Reverse, and Cubic Feature Samplingを導入し、不規則な点群を補完のための3Dグリッドへ変換し、ShapeNet, Completion3D, and KITTIで最先端の結果を達成する。

ABSTRACT

Estimating the complete 3D point cloud from an incomplete one is a key problem in many vision and robotics applications. Mainstream methods (e.g., PCN and TopNet) use Multi-layer Perceptrons (MLPs) to directly process point clouds, which may cause the loss of details because the structural and context of point clouds are not fully considered. To solve this problem, we introduce 3D grids as intermediate representations to regularize unordered point clouds. We therefore propose a novel Gridding Residual Network (GRNet) for point cloud completion. In particular, we devise two novel differentiable layers, named Gridding and Gridding Reverse, to convert between point clouds and 3D grids without losing structural information. We also present the differentiable Cubic Feature Sampling layer to extract features of neighboring points, which preserves context information. In addition, we design a new loss function, namely Gridding Loss, to calculate the L1 distance between the 3D grids of the predicted and ground truth point clouds, which is helpful to recover details. Experimental results indicate that the proposed GRNet performs favorably against state-of-the-art methods on the ShapeNet, Completion3D, and KITTI benchmarks.

研究の動機と目的

• 不完全なスキャンからデンスな点群補完を動機づけ、MLPベースの手法を超えた幾何構造の保存を目指す。
• 3Dグリッドを無秩序な点群の中間の規則表現として用い、点群を規則化する。
• differentiable Gridding, Gridding Reverse, and Cubic Feature Samplingレイヤを開発し、グリッドとポイントを橋渡しする。
• Gridding Lossを導入し、予測と真値のグリッド表現のL1揃えを強制する。

提案手法

• 3Dグリッドを無秩序な点群の中間表現として導入し、点群を規則化する。
• 点群をグリッドセルごとに8頂点補間を用いて規則的な3Dグリッドへ変換するGriddingを開発する。
• グリッド値上で3D CNNを適用し、文脈を意識した特徴を学習する。
• Gridding Reverseを用いてグリッドから粗い点群を再構成する。
• Cubic Feature Samplingを用いて粗い点に近傍グリッドの特徴を付与し、最終的なMLPベースの refinementを行う。
• Gridding Lossを用いて予測グリッドと真値グリッド間のL1差を計算する。

実験結果

リサーチクエスチョン

• RQ1 3Dグリッドは補完のために、voxel/MLPアプローチより不規則な点群の構造と文脈をよりよく保持できるか？
• RQ2 differentiable Gridding, Gridding Reverse, and Cubic Feature Samplingは従来手法よりもディテール保持と精度を改善するか？
• RQ3 Gridding Lossは点群補完においてChamfer Distanceより幾何学的リアリズムを提供するか？

主な発見

• GRNetはShapeNetにおけるChamfer DistanceとF-Score指標で最先端の手法を上回る。
• Completion3DではGRNetが最良のChamfer Distanceを達成し、リーダーボードで1位にランクイン。
• GRNetはKITTI LiDARの車両補完における一貫性と均一性を競合他社と比べて改善。
• アブレーション研究はGridding、Cubic Feature Sampling、Gridding Lossの利点を示し、より高解像度のグリッドと豊富な特徴マップでより良い結果を得る。
• GRNetは高解像度グリッドでもBackward時間とパラメータ数を競争力を維持。