[論文レビュー] Patch Refinement -- Localized 3D Object Detection

Johannes M. Lehner, Andreas Mitterecker+4 more|arXiv (Cornell University)|Oct 9, 2019

Advanced Neural Network Applications参考文献 20被引用数 26

ひとこと要約

Patch Refinementは、領域提案ネットワーク（RPN）と局所的リファインメントネットワーク（LRN）を用いた2段階の3次元物体検出フレームワークを提案する。この手法は、小さな点群パッチを処理することで高精度な局所化を実現する。BEV検出と局所的3次元回帰を分離することで、KITTIベンチマークで最先端の性能を達成し、訓練データの50%とLiDAR入力のみで、全車両の難易度レベルで先行手法を上回った。

ABSTRACT

We introduce Patch Refinement a two-stage model for accurate 3D object detection and localization from point cloud data. Patch Refinement is composed of two independently trained Voxelnet-based networks, a Region Proposal Network (RPN) and a Local Refinement Network (LRN). We decompose the detection task into a preliminary Bird's Eye View (BEV) detection step and a local 3D detection step. Based on the proposed BEV locations by the RPN, we extract small point cloud subsets ("patches"), which are then processed by the LRN, which is less limited by memory constraints due to the small area of each patch. Therefore, we can apply encoding with a higher voxel resolution locally. The independence of the LRN enables the use of additional augmentation techniques and allows for an efficient, regression focused training as it uses only a small fraction of each scene. Evaluated on the KITTI 3D object detection benchmark, our submission from January 28, 2019, outperformed all previous entries on all three difficulties of the class car, using only 50 % of the available training data and only LiDAR information.

研究の動機と目的

• 疎なLiDAR点群における正確な3次元物体検出の課題に取り組むこと。特に、メモリ制限と均一なボクセル解像度による単一段階モデルの限界を解消すること。
• オブジェクト中心のパッチに高解像度特徴学習を集中させることで、全体のシーン処理よりも局所的精度を向上させること。
• 検出とリファインメントの段階を分離することで、独立した学習を可能にし、高度なデータオーグメンテーションとより効率的な回帰指向の学習を可能にすること。
• 軽量なRPNと高解像度LRNを効果的に組み合わせることで、RPNが最適でない場合でも優れた性能を達成できることを示すこと。

提案手法

• 本手法は2段階のパイプラインを採用する：まず、VoxelNetに基づくRPNが潜在的なオブジェクトの2次元ビューアー（BEV）提案を生成する。
• これらの提案から、各候補オブジェクト位置を中心に、小さな3次元点群サブセット（パッチ）が抽出される。
• 各パッチは、別々に訓練された局所的リファインメントネットワーク（LRN）によって処理され、より高いボクセル解像度により、より正確な3次元バウンディングボックス回帰が可能になる。
• LRNはVoxelNetアーキテクチャを用い、回帰最適化のためのヘッド接続を変更しており、補助的回帰ターゲットのおかげで、より高速かつ安定した学習が可能になる。
• RPNとLRNは独立して訓練されるため、LRNはデータオーグメンテーション技術を活用でき、バッチ正規化の干渉を回避できる。
• RPNをパッチで事前学習し、その後フルシーンで微調整することで、ドメイン適応が可能になる。

実験結果

リサーチクエスチョン

• RQ1 提案生成と局所的リファインメントを分離した2段階の3次元検出パイプラインは、疎なLiDARデータにおける検出精度を向上させることができるか？
• RQ2 高解像度のボクセル解像度で処理するオブジェクト中心のパッチ処理は、全体シーンの均一解像度処理よりも優れた3次元局所化を実現するか？
• RQ3 独立して訓練された局所的リファインメントネットワーク（LRN）は、弱いRPNと組み合わせることで、どの程度検出性能を向上させることができるか？
• RQ4 補助的回帰ターゲットとデータオーグメンテーション戦略は、LRNの学習安定性と性能にどのように影響を与えるか？
• RQ5 軽量なRPNをパッチで事前学習し、その後フルシーンで微調整することで、一般化性能が向上するか？

主な発見

• Patch Refinementモデルは、2019年1月28日時点で、訓練データの50%のみを用いてKITTI 3次元検出ベンチマークでエイジリの車両に対して89.61%のAPを達成し、それまでのすべての提出を上回った。
• 中程度難易度の車両では79.04%、難易度の高い車両では77.96%のAPを達成し、3つの難易度レベルすべてで、過去のすべてのエントリを上回った。
• 補助的回帰ターゲットを省略すると、学習が遅く、不安定になり、性能に顕著な低下が生じた。これは、訓練の効率性と頑健性において補助ターゲットの重要性を示している。
• 検出に特徴マップBとC、回帰にAとXを使用するバックボーンバージョン（BC/AX）が最良のバランスを達成した。一方、回帰マップを削除した（BC/A）場合、エイジリと中程度難易度レベルでの性能が低下した。
• 真値の提案からリファインメントされたLRNは、近似的に最適な性能を示した（エイジリ：89.58%、中程度：79.31%、難易度：78.79%）。これは、RPNの提案品質が主なボトルネックであることを示している。
• RPNをパッチで事前学習し、その後フルシーンで微調整することで、わずか1回の追加エポックでVoxelNetの65.46の中程度APを上回る高速収束が達成された。