[論文レビュー] NeeDrop: Self-supervised Shape Representation from Sparse Point Clouds using Needle Dropping

Alexandre Boulch, Pierre-Alain Langlois+2 more|arXiv (Cornell University)|Nov 30, 2021

3D Shape Modeling and Analysis参考文献 65被引用数 14

ひとこと要約

NeeDropは、バロンの針問題にインspiredされた針の落下損失を用いて、スパースな点群から自己教師付きで3D形状表現を学習する手法を提案する。スパースな点群上にランダムに針をサンプリングし、統計的表面貫徹確率を活用することで、合成データでは教師あり手法と同等の再構成品質を達成し、形状の教師なし、密度の高い点群を必要としないKittiの実世界LiDARデータに対しても有望な結果を得た。

ABSTRACT

There has been recently a growing interest for implicit shape representations. Contrary to explicit representations, they have no resolution limitations and they easily deal with a wide variety of surface topologies. To learn these implicit representations, current approaches rely on a certain level of shape supervision (e.g., inside/outside information or distance-to-shape knowledge), or at least require a dense point cloud (to approximate well enough the distance-to-shape). In contrast, we introduce NeeDrop, a self-supervised method for learning shape representations from possibly extremely sparse point clouds. Like in Buffon's needle problem, we "drop" (sample) needles on the point cloud and consider that, statistically, close to the surface, the needle end points lie on opposite sides of the surface. No shape knowledge is required and the point cloud can be highly sparse, e.g., as lidar point clouds acquired by vehicles. Previous self-supervised shape representation approaches fail to produce good-quality results on this kind of data. We obtain quantitative results on par with existing supervised approaches on shape reconstruction datasets and show promising qualitative results on hard autonomous driving datasets such as KITTI.

研究の動機と目的

• 密度の高い点群や形状の教師なしを必要としない自己教師付き3D形状再構成手法の開発。
• 自動運転車のLiDARから得られる極めてスパースでノイズが多く、部分的な点群からの頑健な学習の実現。
• トレーニング中にメッシュベースの教師信号や表面までの距離信号に依存しないこと。
• Marching Cubesを用いて直接メッシュに変換可能な高品質な暗黙的占有フィールドを生成すること。
• 形状の教師なしで、合成データセットおよび実世界の自動運転データに対して本手法の有効性を検証すること。

提案手法

• 本手法は、針の落下に基づく新しい自己教師付き損失を導入する：入力点群の点からランダムな線分（針）をサンプリングし、モデルは針の端点が形状表面の同じ側にあるか反対側にあるかを予測する。
• 損失関数は統計的表面貫徹確率に基づき、同じ側（ラベル1）と反対側（ラベル0）の予測にそれぞれ異なる項を設け、数値安定性を確保するためシグモイド関数と指数関数変換を用いる。
• ネットワークアーキテクチャは、スパースな点群を潜在ベクトルに符号化するPointNetベースのバックボーンと、3次元空間内のクエリポイントにおける占有値を予測する多層パーセプトロンから構成される。
• 損失は1点群あたり複数のランダムな針をサンプリングすることで計算され、端点は入力点を摂動させて生成され、モデルは占有フィールドに基づいて正しい側のラベルを予測するように訓練される。
• PointNetエンコーダにおけるマックスプーリングのおかげで、点の重複に対して不変であるため、低密度や重複する点群に対しても劣化なく処理可能である。
• トレーニング時に車両の対称面に沿って点群をミラーすることで、部分的な視点に対する一般化性能を向上させる対称性増強を適用する。

Figure 1: Different kinds of supervision.

実験結果

リサーチクエスチョン

• RQ1 極めてスパースな点群から形状の教師なしで高品質な3D形状表現を自己教師付き手法が学習可能か？
• RQ2 入力点群がスパースまたは不完全であっても、針の落下損失が表面幾何を効果的に捉えられるか？
• RQ3 本手法は、点群がスパースで不完全な実世界の自動運転データセット（例：KITTI）に一般化可能か？
• RQ4 標準的な形状再構成ベンチマークにおいて、自己教師付きNeeDrop手法は教師ありベースラインと比較してどの程度の性能を示すか？
• RQ5 実世界のシナリオにおいてより現実的である部分視点で学習するよりも、完全な形状で学習したほうが一般化性能が向上するか？

主な発見

• NeeDropは、形状の教師なしを用いながらも、ShapeNetおよびD-Shapeデータセットにおいて教師あり手法と同等の定量的再構成性能を達成した。
• Kittiデータセットでは、スパースで不完全かつノイズの多い自動車LiDAR点群からも、妥当で一貫性のある3D再構成を生成した。
• 完全な形状で学習したモデルは部分的な視点で学習したモデルよりも一般化性能が優れており、完全な幾何的コンテキストが潜在空間の学習を向上させることを示した。
• 本手法は、距離の教師信号に依存する既存手法が失敗するような、実LiDARセンサーからの極めてスパースな入力に対しても効果的に対処できた。
• トレーニング時に対称性増強を適用することで、車両のような対称的な物体の部分点群に対する再構成品質が向上した。
• NeeDrop損失は、スパースでノイズの多い入力に対しても頑健であり、合成データと実世界データの両方の分布で一貫した性能を示した。

Figure 2: Needles as pairs of points.