[論文レビュー] LATTE: Accelerating LiDAR Point Cloud Annotation via Sensor Fusion, One-Click Annotation, and Tracking

Bernie Wang, Virginia Wu+2 more|arXiv (Cornell University)|Apr 19, 2019

Advanced Neural Network Applications参考文献 21被引用数 8

ひとこと要約

LATTE は、センサーフュージョン、ワンクリック 3D バウンディングボックス生成、時系列追跡を通じてラベリングを高速化するオープンソースの LiDAR ポイントクラウドラベリングツールである。ベースラインラベリング比で 6.2 倍の高速化を達成し、正確性は 23.6% 向上、再現率は 2.2% 向上、IoU は 2.0% 向上し、生産性とラベル品質の両面で顕著な向上を実現した。

ABSTRACT

LiDAR (Light Detection And Ranging) is an essential and widely adopted sensor for autonomous vehicles, particularly for those vehicles operating at higher levels (L4-L5) of autonomy. Recent work has demonstrated the promise of deep-learning approaches for LiDAR-based detection. However, deep-learning algorithms are extremely data hungry, requiring large amounts of labeled point-cloud data for training and evaluation. Annotating LiDAR point cloud data is challenging due to the following issues: 1) A LiDAR point cloud is usually sparse and has low resolution, making it difficult for human annotators to recognize objects. 2) Compared to annotation on 2D images, the operation of drawing 3D bounding boxes or even point-wise labels on LiDAR point clouds is more complex and time-consuming. 3) LiDAR data are usually collected in sequences, so consecutive frames are highly correlated, leading to repeated annotations. To tackle these challenges, we propose LATTE, an open-sourced annotation tool for LiDAR point clouds. LATTE features the following innovations: 1) Sensor fusion: We utilize image-based detection algorithms to automatically pre-label a calibrated image, and transfer the labels to the point cloud. 2) One-click annotation: Instead of drawing 3D bounding boxes or point-wise labels, we simplify the annotation to just one click on the target object, and automatically generate the bounding box for the target. 3) Tracking: we integrate tracking into sequence annotation such that we can transfer labels from one frame to subsequent ones and therefore significantly reduce repeated labeling. Experiments show the proposed features accelerate the annotation speed by 6.2x and significantly improve label quality with 23.6% and 2.2% higher instance-level precision and recall, and 2.0% higher bounding box IoU. LATTE is open-sourced at https://github.com/bernwang/latte.

研究の動機と目的

• 低解像度、複雑な 3D ラベリング作業、連続フレーム間の重複による、手作業による LiDAR ポイントクラウドラベリングの非効率性と不正確さを是正すること。
• 自動運転用の周辺環境認識における、疎で低解像度の LiDAR ポイントクラウドのラベリングに要する時間と人的労力を削減すること。
• 画像ベースの検出を用いた事前ラベリングにより、ラベル品質を向上させ、手作業による修正を最小限に抑えること。
• 深層学習における LiDAR ベースの検出に適した、スケーラブルで高品質なデータセット作成を可能にするために、人的ラベリング負荷を軽減すること。
• 既存の閉鎖型ラベリングパイプラインを超えて、カスタム LiDAR センサーや設定をサポートするオープンソースで拡張可能なツールを提供すること。

提案手法

• センサーフュージョン：キャリブレーション済みのカメラ画像に事前学習済みの画像ベースの物体検出器を適用し、初期の 2D 検出結果を取得。その後、これらの検出結果を 3D LiDAR ポイントクラウドに投影・変換し、初期の 3D バウンディングボックス候補を生成する。
• ワンクリックラベリング：ユーザーが対象オブジェクトをワンクリックするだけで、オブジェクトのサイズ・方向・位置に基づく学習済みの事前モデルを用いて自動的に 3D バウンディングボックスを生成する。
• トラッキング：過去のフレームから得られたバウンディングボックスを、時系列的に連続するフレームに伝搬するトラッキングアルゴリズムを実装し、時間的に相関するデータにおける重複ラベリングを削減する。
• インタラクティブな精緻化：センサーフュージョン、ワンクリック生成、トラッキングによる事前ラベリングのボックスを、最小限のインタラクションで人間のラベラーが検証・修正できる。
• 統合パイプライン：3 つの機能を統合した一貫したラベリングワークフローを構築。センサーフュージョンで初期検出を実施、ワンクリックで高速ラベリングを実現、トラッキングでフレーム間の一貫性を確保する。
• 評価フレームワーク：IoU、正確性、再現率、ラベリング時間、1 インスタンスあたりの操作回数を測定するために、正例ラベルと KITTI データセットのラベルを用いる。

実験結果

リサーチクエスチョン

• RQ1 キャリブレーション済みのカメラと LiDAR の間でセンサーフュージョンを実施することで、疎なポイントクラウドにおける物体認識とラベリング速度が向上するか？
• RQ2 手作業による 3D ボックス描画と比較して、ワンクリック 3D バウンディングボックス生成が、ラベリング時間と作業負荷をどの程度削減できるか？
• RQ3 時系列データにおける連続する LiDAR フレーム間で、トラッキングが重複ラベリングをどの程度削減できるか？
• RQ4 センサーフュージョン、ワンクリックラベリング、トラッキングの統合的影響が、ラベリング速度、正確性、ラベル品質に与える影響は何か？
• RQ5 提案されたツールは、ラベル操作回数を減らしつつ、ベースラインの手作業ラベリングよりも高い正確性と再現率を達成できるか？

主な発見

• LATTE は、ベースラインの手作業 3D ボックス描画と比較して、1 インスタンスあたりのラベリング時間を 9.51 秒から 1.53 秒に短縮し、6.2 倍の高速化を達成した。
• フル機能の LATTE 設定では、1 インスタンスあたりのラベリング操作回数を 3.76 回から 1.02 回にまで削減し、3.7 倍の削減を実現した。
• ベースラインと比較して、インスタンスレベルの正確性は 23.6% 向上（69.9% → 93.5%）、再現率は 2.2% 向上（82.9% → 85.1%）した。
• 正例ラベルとの平均 IoU は 85.5% から 87.5% に、KITTI の正例ラベルとの平均 IoU は 82.3% から 84.7% に上昇し、ラベル品質の向上が示された。
• センサーフュージョン単体でも、IoU が 0.8% 向上、再現率が 2.1% 向上、正確性が 14.0% 向上し、物体認識支援の有効性が裏付けられた。
• トラッキング単体でも 4.74 倍の高速化が達成され、ラベリング整合性が向上し、時系列フレーム間の重複ラベリングが顕著に削減された。