[論文レビュー] Semi-supervised Implicit Scene Completion from Sparse LiDAR

Pengfei Li, Yongliang Shi+4 more|arXiv (Cornell University)|Nov 29, 2021

Remote Sensing and LiDAR Applications被引用数 4

ひとこと要約

本稿では、学習された形状埋め込みを密度の高い境界制約として導入することで、スパースLiDAR点群に対する自己教師付き暗黙的シーン補完手法を提案する。自由空間における真値SDF値がなくても、符号付き距離関数（SDF）の学習が安定する。本手法はSemanticKITTIで51.0%のIoUを達成し、SIRENを著しく上回り、2つの並列ヘッドを用いて暗黙的セマンティック補完を実現する。

ABSTRACT

Recent advances show that semi-supervised implicit representation learning can be achieved through physical constraints like Eikonal equations. However, this scheme has not yet been successfully used for LiDAR point cloud data, due to its spatially varying sparsity. In this paper, we develop a novel formulation that conditions the semi-supervised implicit function on localized shape embeddings. It exploits the strong representation learning power of sparse convolutional networks to generate shape-aware dense feature volumes, while still allows semi-supervised signed distance function learning without knowing its exact values at free space. With extensive quantitative and qualitative results, we demonstrate intrinsic properties of this new learning system and its usefulness in real-world road scenes. Notably, we improve IoU from 26.3% to 51.0% on SemanticKITTI. Moreover, we explore two paradigms to integrate semantic label predictions, achieving implicit semantic completion. Code and models can be accessed at https://github.com/OPEN-AIR-SUN/SISC.

研究の動機と目的

• 空間的に変化するスパarsityと信頼性の低い法線推定による、スパースLiDARデータにおける自己教師付きSDF学習の失敗を解消すること。
• 正確な自由空間におけるSDF値を必要とせず、学習された形状に依存する密度の高い埋め込みを用いて、暗黙関数学習を安定化する新しい定式化を開発すること。
• 限られた監視情報とスパースLiDAR入力のみを用いて、現実の道路シーンにおける暗黙的幾何・セマンティックシーン補完を可能にすること。
• セマンティック理解を暗黙的表現フレームワークに統合し、エンドツーエンドの暗黙的セマンティック補完を達成すること。

提案手法

• スパースな点群からの判別的形状埋め込み学習に適したスパース畳み込みネットワークと、これらの埋め込みに条件付けられたSDF値予測を行う生成モデルを組み合わせたハイブリッドアーキテクチャを採用する。
• 形状埋め込みは、オンサーフェス点（零次）および法線方向（一次）制約を符号化する密度の高いデータ駆動境界値として機能する。
• 入力座標における形状コードの取得に三線形補間または最近傍補間を用い、自由空間における明示的SDF監視がなくてもSDF予測を可能にする。
• Eikonal制約は埋め込みに基づく監視によって緩和され、表面から離れたノイズの多いまたはスパースなアンカーに対する感度が低下する。
• セマンティック補完のための2つのパラダイムを導入する：(1) 隠れ空間へのK-NNマッピングを伴う密度の高いセマンティックヘッド、(2) セマンティックラベルフィールドを生成する並列な暗黙的生成ヘッド。
• SDF予測における微細な幾何的詳細の保持を図るため、高周波数（例：L=10）の位置符号化を用いる。

実験結果

リサーチクエスチョン

• RQ1 SIRENなどの先行手法がスパarsityと信頼性の低い法線により失敗する中で、スパースLiDARデータに自己教師付き暗黙的学習を効果的に適用できるか。
• RQ2 自由空間における真値SDF値を必要とせず、形状埋め込みを用いてSDF学習に効果的な密度の高い境界制約を提供する方法は何か。
• RQ3 学習された形状埋め込みは、スパースLiDAR環境下で暗黙的シーン表現の整合性と完全性をどの程度向上できるか。
• RQ4 提案フレームワークは暗黙的セマンティックシーン補完を可能にし、明示的セマンティック補完ベースラインと比較してどの程度優れるか。
• RQ5 位置符号化の統合は、暗黙的シーン補完の品質に顕著な影響を及えるか。

主な発見

• 本手法はSemanticKITTIベンチマークで51.0%のIoUを達成し、SIRENの26.3%を著しく上回る。
• アブレーションスタディの結果、L=10の位置符号化と元の座標の併用が最良の性能（51.020 IoU）をもたらし、これを省略するとIoUは40.431に低下する。
• 形状埋め込みのt-SNE可視化から、オンサーフェスおよび法線制約の両方を効果的に符号化していることが明確に示された。
• SSC-AおよびSSC-Bヘッドによる暗黙的セマンティック補完は、それぞれmIoU 20.2%および18.0%を達成し、JS3C-Netの明示的予測を暗黙的空間にマッピングすることでさらに23.4%まで向上する。
• 任意の解像度でのメッシュ再構築は、学習済みSDFフィールドの連続性を示しており、高解像度でも一貫性のある幾何形状を保つ。
• 定性的な結果から、特にスパース領域においてSIRENよりもより完全で整合性のある再構築が得られることを示している。