[論文レビュー] LMSCNet: Lightweight Multiscale 3D Semantic Completion

Luis Roldão, Raoul de Charette+1 more|arXiv (Cornell University)|Aug 24, 2020

3D Shape Modeling and Analysis参考文献 51被引用数 134

ひとこと要約

LMSCNetは、2D UNetバックボーンと3Dセグメンテーションヘッドを組み合わせることで、パラメータ数と推論時間を顕著に削減しながら、SemanticKITTIベンチマークで最先端の性能を達成する軽量でマルチスケールな3Dセマンティックシーンコンプリートネットワークを提案する。高さ方向の2D畝込みと拡張3D畝込みを活用することで、372 FPS（1:8解像度時）の高速で粗いスケールの推論が可能となり、精度を損なわず実現する。

ABSTRACT

We introduce a new approach for multiscale 3Dsemantic scene completion from voxelized sparse 3D LiDAR scans. As opposed to the literature, we use a 2D UNet backbone with comprehensive multiscale skip connections to enhance feature flow, along with 3D segmentation heads. On the SemanticKITTI benchmark, our method performs on par on semantic completion and better on occupancy completion than all other published methods -- while being significantly lighter and faster. As such it provides a great performance/speed trade-off for mobile-robotics applications. The ablation studies demonstrate our method is robust to lower density inputs, and that it enables very high speed semantic completion at the coarsest level. Our code is available at https://github.com/cv-rits/LMSCNet.

研究の動機と目的

• スパースな3Dセマンティックシーンコンプリートにおける3D CNNの高い計算コストとメモリオーバーヘッドを解消すること。
• スパースLiDAR入力において、モバイルロボットや自動運転アプリケーション向けにリアルタイム推論を可能にすること。
• 完全な3D畝込みではなく2D畝込みを用いるにもかかわらず、セマンティックラベル付けとシーンコンプリートの両方で高い精度を維持すること。
• 再トレーニングなしで高速で粗いスケールのコンプリートを可能にするマルチスケール推論パイプラインを導入すること。
• 実際のセンサー制限を模倣する低密度LiDARスキャンに対して、モデルの頑健性を示すこと。

提案手法

• 高さ方向の2D畝込みを用いた2D UNetスタイルのエンコーダ・デコーダバックボーンを採用し、計算コストを低減する。
• ネットワークの終端部に3D畝込みヘッドを設け、2D特徴マップから密度の高い3Dセマンティックラベルを予測する。
• 感受野を拡大し特徴を豊かにするために、3Dヘッドにアトラス空間的プール（ASPP）ブロックを統合する。
• すべてのデコーダレベルにマルチスケールのスキップ接続を適用し、特徴の流れと文脈的理解を強化する。
• 深さの異なるデコーダブランチをプルーニングすることでマルチスケール推論を可能にし、複雑性を低減した粗いスケールの予測（1:2, 1:4, 1:8）を実現する。
• TSDFやSDFへの変換などの前処理を施さずに、LiDARスキャンからのスパースボクセル化入力をそのまま使用し、生の占有グリッドを保持する。

実験結果

リサーチクエスチョン

• RQ1 2Dベースのバックボーンに3Dヘッドを組み合わせることで、3D-CNNベースラインと比較して顕著に高速かつ軽量でありながら、競争力のある3Dセマンティックシーンコンプリート性能を達成できるか？
• RQ2 マルチスケール推論機能は、3Dセマンティックコンプリートにおけるスピードと精度のトレードオフにどのように影響するか？
• RQ3 実際のセンサー制限を模倣する低密度LiDAR入力に対して、モデルの耐性はどの程度高いか？
• RQ4 1軸に沿った2D畝込みの使用が、3D空間的接続性と全体的な性能を損なうことはないか？
• RQ5 軽量アーキテクチャが、コンプリートとセマンティックセグメンテーションの両方の指標で、重いモデルを上回ることができるか？

主な発見

• LMSCNetは、コンプリートで54.22%のIoU、セマンティクスで16.78%のmIoUを達成し、SemanticKITTIベンチマークで最先端の性能を発揮。コンプリート性能では先行手法を上回り、セマンティクス性能では同等または上回っている。
• 1:8解像度時で372 FPSを達成し、TS3D+DNet+SATNetの300倍、SSCNetの6倍速く、粗いスケール推論において顕著な高速性を示している。
• 2D畝込みを用いても、モデルの性能は強く保たれている。ASPPを削除した場合、mIoUはわずか0.41%低下する。また、マルチスケールバージョンではなく通常のUNetデコーダを使用した場合、コンプリートIoUは0.68%低下する。
• 低入力密度に対してもモデルは頑健である。8層のLiDAR入力（2.10%密度）でも、一般的なシーンの輪郭を合理的な精度で回復できる。
• フルスケールのLMSCNetはパラメータ数が0.35M、GFLOPsが72.6にとどまり、SSCNet-fullと比較して5倍軽量で10倍速く、コンプリート指標でもそれを上回っている。
• アブレーションスタディの結果、デコンボリューション層が性能に寄与している（それなしではIoUが1.43%低下）、またマルチスケールUNetデコーダはコンプリート性能を0.68%、セマンティクス性能を0.56%向上させた。