[論文レビュー] PointIT: A Fast Tracking Framework Based on 3D Instance Segmentation

Yuan Wang, Yang Yu+1 more|arXiv (Cornell University)|Feb 18, 2019

Remote Sensing and LiDAR Applications参考文献 21被引用数 7

ひとこと要約

PointIT は、球面 LiDAR 投影における 3D インスタンスセグメンテーションを用いた、高速で軽量な 3D オブジェクト追跡フレームワークを提案する。Mask R-CNN に基づくインスタンスセグメンテーションヘッドにおいて ResNet の代わりに MobileNet を使用し、SORT を 3D センターベースのコスト行列計算に拡張することで、KITTI で 15 fps の追跡性能と 0.617 の AP を達成し、オクルージョンやオブジェクト同士の干渉に対する耐性が向上する。

ABSTRACT

Recently most popular tracking frameworks focus on 2D image sequences. They seldom track the 3D object in point clouds. In this paper, we propose PointIT, a fast, simple tracking method based on 3D on-road instance segmentation. Firstly, we transform 3D LiDAR data into the spherical image with the size of 64 x 512 x 4 and feed it into instance segment model to get the predicted instance mask for each class. Then we use MobileNet as our primary encoder instead of the original ResNet to reduce the computational complexity. Finally, we extend the Sort algorithm with this instance framework to realize tracking in the 3D LiDAR point cloud data. The model is trained on the spherical images dataset with the corresponding instance label masks which are provided by KITTI 3D Object Track dataset. According to the experiment results, our network can achieve on Average Precision (AP) of 0.617 and the performance of multi-tracking task has also been improved.

研究の動機と目的

• 2D 追跡フレームワークの 3D 認知における限界を解消するため、より強固なオブジェクト追跡を実現するための 3D 空間情報の統合。
• 自律走行車両におけるリアルタイム配備を念頭に、3D インスタンスセグメンテーションの計算コストを低減しながら高い精度を維持すること。
• 正確な 3D インスタンスマスクを活用することで、オクルージョンやオブジェクト同士の干渉といった困難な状況での追跡性能の向上。
• 球面投影、軽量セグメンテーション、拡張された SORT を統合したスケーラブルでエンドツーエンドのパイプラインの構築。
• 3D インスタンスレベルの情報が 2D バウンディングボックスベースの手法に比べて追跡精度を顕著に向上させることの実証。

提案手法

• 3D LiDAR ポイントクラウドを 64×512×4 のサイズの球面画像に投影し、効率的なディープラーニング処理に適した 2D 形式に変換する。
• インスタンスセグメンテーションヘッドにおける計算複雑度と推論時間を低減するため、ResNet の代わりに軽量な MobileNet をベースとするエンコーダーを採用する。
• KITTI 3D オブジェクト追跡データセットから抽出したインスタンスレベルのアノテーションを有する球面画像データセットを新たに生成し、その上でマスク R-CNN スタイルのインスタンスセグメンテーションモデルを学習する。
• データ関連付けに IoU に依存するのではなく、3D センターコーディネートと正規化距離メトリクスを組み込むことで、SORT 追跡アルゴリズムを拡張する。
• 3D 空間的特徴（センター座標間の距離）とインスタンスマスク埋め込みを用いて、追跡の関連付け精度を向上させるコスト行列を構築する。
• エンドツーエンドでパイプラインを処理し、KITTI データセット上で 15 fps のリアルタイム 3D 多対象追跡を実現する。

実験結果

リサーチクエスチョン

• RQ1 球面 LiDAR 投影における 3D インスタンスセグメンテーションは、2D バウンディングボックスベースの追跡に比べて追跡の耐性を向上させることができるか？
• RQ2 ResNet を MobileNet に置き換えることで、3D ポイントクラウド追跡におけるインスタンスセグメンテーションの精度と推論速度にどのような影響が生じるか？
• RQ3 SORT アルゴリズムに 3D 空間的センターサイズ情報を組み込むことで、ID スイッチや追跡エラーがどの程度低減されるか？
• RQ4 軽量な 3D インスタンスセグメンテーションフレームワークは、自律走行車両用途においても高い精度を維持しながらリアルタイム性能を達成できるか？
• RQ5 球面投影法は、生の 3D 加工と比較して、オクルージョンやポイントクラウドのノイズをどの程度効果的に処理できるか？

主な発見

• PointIT は KITTI 3D インスタンスセグメンテーションベンチマークで 0.617 の平均精度（AP）を達成し、優れたセグメンテーション性能を示している。
• モデルは 15 fps で動作しており、自律走行車両のシステムにおけるリアルタイム追跡の実現可能性を示している。
• ResNet から MobileNet に置き換えることで、推論時間が 0.091 秒から 0.061 秒に短縮され、高い精度を維持しながらも効率と精度の妥協が図られている。
• 拡張された SORT アルゴリズムは、ID スイッチ（ID_sw）とフォールスネガティブ（FN）を低減しており、オクルージョンに強い状況でも追跡の安定性が向上している。
• 関連付け行列に 3D センターベースの距離を組み込むことで、標準的な IoU ベースの SORT に比べて追跡性能が顕著に向上し、特にオブジェクト同士の干渉やオクルージョンの状況で顕著である。
• 標準的な 2D 画像と球面投影の間のドメインシフトが存在するにもかかわらず、MobileNet が 0.617 の AP を達成しており、投影された球面データに良好に一般化していることが示唆される。