[論文レビュー] Auto4D: Learning to Label 4D Objects from Sequential Point Clouds

Bin Yang, Min Bai+3 more|arXiv (Cornell University)|Jan 17, 2021

Advanced Neural Network Applications参考文献 42被引用数 25

ひとこと要約

Auto4D は、固定オブジェクトサイズ推定と全軌跡に対する動作経路の洗練化に分解することで、高品質な4D(3D+時間)車両ラベルを自動生成し、人手の注釈作業を最大25%削減します。

ABSTRACT

In the past few years we have seen great advances in object perception (particularly in 4D space-time dimensions) thanks to deep learning methods. However, they typically rely on large amounts of high-quality labels to achieve good performance, which often require time-consuming and expensive work by human annotators. To address this we propose an automatic annotation pipeline that generates accurate object trajectories in 3D space (i.e., 4D labels) from LiDAR point clouds. The key idea is to decompose the 4D object label into two parts: the object size in 3D that's fixed through time for rigid objects, and the motion path describing the evolution of the object's pose through time. Instead of generating a series of labels in one shot, we adopt an iterative refinement process where online generated object detections are tracked through time as the initialization. Given the cheap but noisy input, our model produces higher quality 4D labels by re-estimating the object size and smoothing the motion path, where the improvement is achieved by exploiting aggregated observations and motion cues over the entire trajectory. We validate the proposed method on a large-scale driving dataset and show a 25% reduction of human annotation efforts. We also showcase the benefits of our approach in the annotator-in-the-loop setting.

研究の動機と目的

• 自動4Dラベリングを動機づけて、自動運転データセットの人手注釈コストを削減する。
• 一定の3Dサイズを別々に推定する2枝モデルと、時間の経過に伴い動作軌跡を洗練させることを提案する。
• 全軌跡観測を活用して3D境界ボックスの精度（IoU）と軌跡の滑らかさを向上させる。
• 高品質なCar4Dデータセット上で評価し、ベースラインに対する実質的な改善を示す。

提案手法

• 初期のオンライン検出器と離散トラッカーを用いてノイズのある4D物体軌跡を取得する。
• オブジェクトサイズブランチは複数フレームの観測を集約して各オブジェクトに対する単一の一定サイズを予測し、コーナー整列戦略でボックスを洗練させる。
• モーションパスブランチは時空エンコーダ-デコーダを用いて、4D点群とモーション手掛かりを使い姿勢軌跡を洗練させる。
• IoUベースの損失でブランチを逐次訓練する。推論時には軌跡全体に渡るサイズの洗練を適用し、その後スライディングウィンドウによるパスの洗練を行う。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト軌跡全体の観測を活用することで、3D境界ボックスの一定サイズ推定をより正確にできるか？
• RQ2 全軌跡にわたるモーションパスの洗練を取り入れると、静的サイズ推定を超える4Dラベリング精度の改善につながるか？
• RQ3 高品質な走行データセットにおいて、自動4Dラベリングは人間による修正の必要性をどれだけ低減できるか？
• RQ4 LiDARのスパース性と遮蔽下で、サイズ洗練のコーナー整列戦略はセンター整列アプローチより優れているか？

主な発見

手法	IoU≥0.5	IoU≥0.6	IoU≥0.7	IoU≥0.8	IoU≥0.9
Online detector + discrete tracker	98.8%	97.5%	94.0%	82.2%	40.6%
Offline detector + discrete tracker	99.0%	97.9%	94.7%	83.3%	41.5%
Offline detector + disc. & cont. tracker	99.5%	98.4%	95.0%	82.9%	41.3%
Auto4D (size)	98.9%	97.7%	94.8%	85.4%	49.0%
Auto4D (size + path)	99.0%	98.0%	95.6%	87.9%	55.3%

• Auto4D は Car4D テストセットで、IoU ≥ 0.9 のボックス数をサイズブランチから8.4%、パスブランチから6.3%向上させる。
• 全体として、Auto4D はオンライン検 detector + discrete tracker ベースラインと比較して、局所化が不十分なボックス（IoU ≥ 0.9）を修正する人手作業を約25%削減する。
• コーナー整列洗練を用いたサイズブランチは、センター整列およびランダムなベースラインよりも、正確なサイズ推定を生み出す点で有意に優れている。
• アノテータを組み込んだループ実験は、最小限の人手修正でモデルの再訓練なしにラベリング精度をさらに向上させることを示している。
• 静的オブジェクトはサイズブランチの恩恵をより受け、動的オブジェクトはモーションパス洗練の恩恵をより受ける。