[論文レビュー] Quantifying Data Augmentation for LiDAR based 3D Object Detection

Martin Hahner, Dengxin Dai+2 more|arXiv (Cornell University)|Apr 3, 2020

Robotics and Sensor-Based Localization参考文献 25被引用数 9

ひとこと要約

本論文は、LiDARベースの3次元物体検出におけるデータ拡張技術について包括的な実験的調査を提示しており、回転やスケーリングなどのグローバル拡張が性能向上に顕著に寄与することを示している一方で、局所的オブジェクトの平行移動は逆効果となる可能性がある。著者らは、KITTIでは最大1.5%、STFでは最大1.7%の性能向上を達成する最適化された拡張ポリシーを提案しており、複数の最先端モデルおよびデータセットに一般化可能である。

ABSTRACT

In this work, we shed light on different data augmentation techniques commonly used in Light Detection and Ranging (LiDAR) based 3D Object Detection. For the bulk of our experiments, we utilize the well known PointPillars pipeline and the well established KITTI dataset. We investigate a variety of global and local augmentation techniques, where global augmentation techniques are applied to the entire point cloud of a scene and local augmentation techniques are only applied to points belonging to individual objects in the scene. Our findings show that both types of data augmentation can lead to performance increases, but it also turns out, that some augmentation techniques, such as individual object translation, for example, can be counterproductive and can hurt the overall performance. We show that these findings transfer and generalize well to other state of the art 3D Object Detection methods and the challenging STF dataset. On the KITTI dataset we can gain up to 1.5% and on the STF dataset up to 1.7% in 3D mAP on the moderate car class.

研究の動機と目的

• 多様なデータ拡張技術（グローバルおよびローカル）がLiDARベースの3次元物体検出性能に与える影響を体系的に評価すること。
• 一般化を向上させる拡張戦略と、特に複雑な状況下で性能を低下させる要因を特定すること。
• 複数のデータセットで最先端の3次元検出器の性能を向上させる、新たな最適化された拡張ポリシーの開発および検証すること。
• 研究者らが試行錯誤を回避できる、検証済みで移植可能な拡張戦略を提供すること。

提案手法

• PointPillarsフレームワークを用い、KITTIデータセット上で36種類の異なる拡張ポリシーを評価し、個々の技術の影響を隔離するためのアブレーションスタディを実施。
• グローバル拡張（例：シーン単位の回転、スケーリング、ノイズ注入）は点群全体に一様に適用されるのに対し、ローカル拡張はオブジェクトごとに適用され、例えばオブジェクト固有の平行移動、回転、スケーリングなどが含まれる。
• ハード例を訓練時に除外するが、推論時に評価するという、新規のGTフィルタリングポリシーを導入し、一般化への影響を評価。
• 最も優れた性能を示した拡張ポリシーを、VoxelRCNN、PV-RCNNなど5つの追加の最先端3次元検出器で検証し、KITTIおよびより困難なSTFデータセットでもテスト。
• 性能は、中程度およびハードな車両クラスにおける3D mAP@40で測定され、各拡張タイプの寄与度を隔離するアブレーションスタディを実施。
• 最終的なポリシーは、最も効果的な技術を組み合わせており、局所的オブジェクトの平行移動の除去、ローカルスケーリングの導入、訓練時におけるハード例の除外を含む。

実験結果

リサーチクエスチョン

• RQ1 LiDARベースの3次元物体検出において、グローバル拡張とローカル拡張のどちらのデータ拡張技術がより一貫した性能向上をもたらすか？
• RQ2 他のタスクでは一般的に使用されているにもかかわらず、なぜ局所的オブジェクトの平行移動は性能を低下させるのか？
• RQ3 訓練時にハード例を除外することで、評価時のハードケースに対する一般化と性能が向上するか？
• RQ4 得られた知見は、異なる3次元物体検出アーキテクチャおよびデータセットに一般化可能か？
• RQ5 個々の拡張技術の組み合わせは、加法的効果を示すのか、それとも相乗効果を示すのか？

主な発見

• 局所的オブジェクトの平行移動は検出性能を著しく低下させ、モデルが不自然な空間的関係を学習してしまう可能性がある。
• 訓練時にハード例を除外することで、評価時のハード例で1.16%の性能向上が得られ、ハードケースが学習段階でモデルを混乱させる可能性があることを示している。
• 回転やスケーリングなどのグローバル拡張技術は一貫して性能を向上させ、特にグローバルスケーリングが最大の向上をもたらしている。
• 提案された拡張ポリシー #41は、KITTIとSTFのそれぞれで、PointPillarsの性能を中程度の車両クラスで最大1.5%、ハードな車両クラスで最大1.7%向上させた。
• 知見は、VoxelRCNN や PV-RCNN などの複数の最先端モデルに一般化され、nuScenes や Lyft Level5 といった多様なデータセットにも適用可能である。
• 最高の個々の技術をすべて組み合わせても最良の結果が得られないことから、拡張ポリシー間には非加法的相互作用が存在することが示された。