[論文レビュー] Real3D-Aug: Point Cloud Augmentation by Placing Real Objects with Occlusion Handling for 3D Detection and Segmentation

Petr Šebek, Šimon Pokorný+2 more|arXiv (Cornell University)|Jun 15, 2022

Remote Sensing and LiDAR Applications被引用数 6

ひとこと要約

本稿では、実際のラベル付きオブジェクトをシーンに挿入し、明示的な隠蔽処理と物理的忠実性を備えた、新しいポイントクラウド拡張フレームワークであるReal3D-Augを提案する。リアルなLiDAR特性（強度、レイヤードプロットなど）を用いることで、3D検出およびセグメンテーション性能が顕著に向上し、とくにレアクラスにおいて顕著な向上を示す。KITTIでは「ハード」クラスの歩行者に対して6.65%のAP向上を達成し、SemanticKITTIではSOTA手法比で2.14 mIoUの向上を達成した。

ABSTRACT

Object detection and semantic segmentation with the 3D lidar point cloud data require expensive annotation. We propose a data augmentation method that takes advantage of already annotated data multiple times. We propose an augmentation framework that reuses real data, automatically finds suitable placements in the scene to be augmented, and handles occlusions explicitly. Due to the usage of the real data, the scan points of newly inserted objects in augmentation sustain the physical characteristics of the lidar, such as intensity and raydrop. The pipeline proves competitive in training top-performing models for 3D object detection and semantic segmentation. The new augmentation provides a significant performance gain in rare and essential classes, notably 6.65% average precision gain for "Hard" pedestrian class in KITTI object detection or 2.14 mean IoU gain in the SemanticKITTI segmentation challenge over the state of the art.

研究の動機と目的

• 自動運転におけるラベル付き3D LiDARデータの不足を解消し、拡張によりデータ効率を向上させる。
• 従来の3D拡張手法が幾何変換のみを適用し、現実的なオブジェクト配置をモデル化できないという限界を克服する。
• 現実世界のオブジェクト配置を用いて、3Dオブジェクト検出およびセマンティックセグメンテーションの両方に対して効果的なデータ拡張を可能にする。
• トレーニングデータに過小表現されるレアで重要なクラス（歩行者、自転車乗りなど）の性能向上を図る。
• 実際のLiDAR固有の特性（強度、レイヤードプロットなど）を保持することで、拡張データの物理的忠実性を確保する。

提案手法

• 同じデータセット内の事前にラベルが付与された実際のポイントクラウドデータを再利用し、物理的一致性を確保する。
• 道路および歩道領域をセグメンテーションすることで、クラス固有のオブジェクト挿入に適した配置領域を自動で特定する。
• オブジェクトのボクセルボックスを用いて挿入時の衝突を防止し、空間的な妥当性を保証する。
• 球面投影を用いて可視性をシミュレートすることで、隠蔽を明示的にモデル化し、現実的なポイントの可視性および隠蔽パターンを保持する。
• 挿入オブジェクトにおいて、実際のLiDARスキャン特性（強度値、レイヤードプロット挙動など）を再現することで物理的忠実性を維持する。
• すべての拡張処理を事前処理で行い、トレーニング中のランタイムオーバーヘッドをゼロに保つ。

実験結果

リサーチクエスチョン

• RQ1 現実世界の3Dオブジェクトインスタンスを、現実的な隠蔽モデルを備えてシーンに再利用・挿入することで、3D認識タスクの性能向上が可能か？
• RQ2 拡張データにLiDAR固有の特性（強度、レイヤードプロットなど）を組み込むことで、合成的または幾何的のみの拡張に比べて一般化性能が向上するか？
• RQ3 統一された拡張フレームワークは、3Dオブジェクト検出およびセマンティックセグメンテーションの両方のタスクを効果的に向上させられるか？
• RQ4 本手法は、歩行者や自転車乗りといった、レアで検出が難しいクラスにおいて、SOTA手法に比べてどの程度の性能向上を達成するか？
• RQ5 1回の拡張に複数のオブジェクトクラスを含めることで、モデルのロバストネスおよび一般化性能がどの程度向上するか？

主な発見

• Real3D-Augは、KITTI 3Dオブジェクト検出ベンチマークにおける「ハード」クラスの歩行者に対して、平均精度（AP）で6.65%の絶対的向上を達成し、SOTAを顕著に上回った。
• セマンティックセグメンテーションにおいて、Real3D-Augは標準的な拡張手法と比較して、SemanticKITTIデータセットでmIoUを2.14ポイント向上させた。
• 歩行者検出において、GT-AugおよびLiDAR-Augを上回り、特に「ハード」難易度カテゴリでPV-RCNN下で15.4%のAP向上（GT-Augの7.52%対比）を達成した。
• 複数クラス（例：歩行者と自転車乗り）を同時に拡張すると、非拡張クラス（例：自動車）を含め、すべてのクラスで性能向上が見られた。これは、ネガティブ例の多様性が向上したためである。
• アブレーションスタディの結果、1つのクラス（例：歩行者または自転車乗り）のみを挿入すると、類似クラス（例：自転車乗り）の性能が低下する場合があることが判明し、複数クラス同時挿入の利点が明確になった。
• 本手法は自己完結的かつ事前処理済みであり、トレーニング中にランタイムコストを一切発生させないため、3D認識パイプラインにおける実世界への実装が実用的である。