[論文レビュー] RIU-Net: Embarrassingly simple semantic segmentation of 3D LiDAR point cloud

Pierre Biasutti, Aurélie Bugeau+2 more|arXiv (Cornell University)|May 21, 2019

Advanced Neural Network Applications参考文献 21被引用数 19

ひとこと要約

RIU-Net は、3D LiDAR ポイントクラウドを 2D レンジインデックスに変換し、U-Net アーキテクチャを適用することで、シンプルでありながら効果的なセマンティックセグメンテーション手法を提案する。KITTI データセットにおいて、1つの GPU で 90 FPS のリアルタイム推論を達成し、最先端の性能を実現した。

ABSTRACT

This paper proposes RIU-Net (for Range-Image U-Net), the adaptation of a popular semantic segmentation network for the semantic segmentation of a 3D LiDAR point cloud. The point cloud is turned into a 2D range-image by exploiting the topology of the sensor. This image is then used as input to a U-net. This architecture has already proved its efficiency for the task of semantic segmentation of medical images. We demonstrate how it can also be used for the accurate semantic segmentation of a 3D LiDAR point cloud and how it represents a valid bridge between image processing and 3D point cloud processing. Our model is trained on range-images built from KITTI 3D object detection dataset. Experiments show that RIU-Net, despite being very simple, offers results that are comparable to the state-of-the-art of range-image based methods. Finally, we demonstrate that this architecture is able to operate at 90fps on a single GPU, which enables deployment for real-time segmentation.

研究の動機と目的

• 2D イメージ処理と 3D ポイントクラウドセグメンテーションのギャップを埋めるために、実証済みの 2D セマンティックセグメンテーションモデルを 3D LiDAR データに適応する。
• 従来のハンドクラフトド特徴パイプラインにおける高い計算コストと複雑なチューニングの課題に対処する。
• 3D LiDAR データのレンジインデックス表現に、シンプルで即戦可能なディープラーニングアーキテクチャ（U-Net）を適用することで、競争力ある結果が得られることを示す。
• 高フレームレートを確保することで、自律走行システムにおけるリアルタイム推論を可能にする。

提案手法

• センサーの球面トポロジーに従って、3D LiDAR ポイントクラウドを 2D レンジインデックスに変換し、空間的関係を保持する。
• ピクセル単位のセマンティックセグメンテーションのために、対称的なエンコーダーデコーダー構造とスキップ接続を備えた U-Net アーキテクチャをレンジインデックス入力に適用する。
• エンドツーエンドで訓練可能なように、交差エントロピー損失関数を用い、バッチ正規化と Adam 最適化を実装する。
• アップサンプリング中の空間的詳細を保持するためにスキップ接続を活用し、オブジェクト境界におけるセグメンテーション精度を向上させる。
• 標準的な 8057/2791 のトレイン/バリデーション分割を用いて、KITTI 3D オブジェクト検出データセット上でモデルを訓練し、バッチサイズは 8、エポック数は 10 とする。
• 最終的なセグメンテーション出力を、対応するレンジインデックスのピクセル座標に基づいて元の 3D ポイントクラウドに再マッピングする。

実験結果

リサーチクエスチョン

• RQ1 元々 2D 医療画像を目的として設計された標準的な U-Net アーキテクチャを、レンジインデックス表現を介して 3D LiDAR ポイントクラウドセグメンテーションに効果的に適応できるか？
• RQ2 このシンプルな適応手法の性能は、IoU と推論速度の観点から、最先端のレンジインデックスベースの手法と比べてどの程度か？
• RQ3 アーキテクチャの単純さが、自転車乗りなどのレアまたは小さなオブジェクトに対して、セグメンテーション精度にどの程度の影響を与えるか？
• RQ4 高品質のセグメンテーションを損なわず、コンsumer-grade ハードウェアでもリアルタイム推論を達成できるか？

主な発見

• RIU-Net は KITTI データセットで平均 IoU 40.6% を達成し、PointSeg（39.8%）や SqueezeSeg（37.2%）を上回り、最高パフォーマンスクラスでは SqueezeSegv2（44.9%）と同等の性能を示した。
• 自転車乗りの IoU は 36.8% に達し、SqueezeSegv2（33.6%）を上回り、小さなオブジェクトクラスにおける優れた一般化性能を示した。
• 構造的イノベーションが必ずしも必要でないことが示された。RIU-Net のシンプルさにもかかわらず、競争力ある性能を発揮した。
• 1つの GPU で 90 FPS の速度を達成し、自律走行システムにおけるリアルタイムデプロイメントを可能にした。
• 視覚的に正確なセグメンテーションを提供しており、2D レンジインデックスおよび 3D ポイントクラウドの両方で、定量的結果がアノテーションと密接に一致した。
• 結果から、U-Net のスキップ接続と特徴統合メカニズムが、LiDAR データにおける細粒度の空間的詳細を効果的に保持していることが示唆された。