[論文レビュー] ZoomNet: Part-Aware Adaptive Zooming Neural Network for 3D Object Detection

Zhenbo Xu, Wei Zhang+7 more|arXiv (Cornell University)|Mar 1, 2020

Advanced Neural Network Applications参考文献 19被引用数 4

ひとこと要約

ZoomNet は、遠く離れた物体や隠蔽された物体のための視差推定および3次元点群再構築を向上させるために、部分認識型のアダプティブズームを用いる新しいステレオ3次元物体検出フレームワークである。オブジェクトインスタンスを均一な解像度にリサイズし、カメラパラメータを調整することで、点群の密度と品質を向上させ、KITTIで疑似LiDARに対して9.4%のAPbv（IoU=0.7）の向上を達成し、最先端の性能を実現した。

ABSTRACT

3D object detection is an essential task in autonomous driving and robotics. Though great progress has been made, challenges remain in estimating 3D pose for distant and occluded objects. In this paper, we present a novel framework named ZoomNet for stereo imagery-based 3D detection. The pipeline of ZoomNet begins with an ordinary 2D object detection model which is used to obtain pairs of left-right bounding boxes. To further exploit the abundant texture cues in RGB images for more accurate disparity estimation, we introduce a conceptually straight-forward module -- adaptive zooming, which simultaneously resizes 2D instance bounding boxes to a unified resolution and adjusts the camera intrinsic parameters accordingly. In this way, we are able to estimate higher-quality disparity maps from the resized box images then construct dense point clouds for both nearby and distant objects. Moreover, we introduce to learn part locations as complementary features to improve the resistance against occlusion and put forward the 3D fitting score to better estimate the 3D detection quality. Extensive experiments on the popular KITTI 3D detection dataset indicate ZoomNet surpasses all previous state-of-the-art methods by large margins (improved by 9.4% on APbv (IoU=0.7) over pseudo-LiDAR). Ablation study also demonstrates that our adaptive zooming strategy brings an improvement of over 10% on AP3d (IoU=0.7). In addition, since the official KITTI benchmark lacks fine-grained annotations like pixel-wise part locations, we also present our KFG dataset by augmenting KITTI with detailed instance-wise annotations including pixel-wise part location, pixel-wise disparity, etc.. Both the KFG dataset and our codes will be publicly available at https://github.com/detectRecog/ZoomNet.

研究の動機と目的

• ステレオ画像ベースのシステムにおける遠く離れた物体や隠蔽された物体の3次元検出の不正確さという課題に対処すること。
• 疑似LiDARにおける包括的視差推定の限界を克服すること。これは、遠く離れた物体や隠蔽された物体では解像度が低く特徴が疎であるため、性能が低下する。
• ピクセル単位の部分位置の監視を導入することで、隠蔽に対する耐性を高めること。これは3次元の補助的ヒントとして機能する。
• 3次元適合スコアを提案することで、3次元検出の信頼性推定を向上させること。これは2次元分類確率よりも3次元IoUと相関が良い。
• 今後のステレオ3次元検出研究を支援するため、ピクセル単位の部分位置と視差を備えた細分化されたアノテーションを持つ新しいデータセットKFGを開発すること。

提案手法

• 各オブジェクトの左・右インスタンスバウンディングボックスを生成するために、標準的な2次元物体検出器を適用する。
• アダプティブズームを実装する：各2次元インスタンスを固定解像度にリサイズし、カメラ内部パrameterをそれに合わせてスケーリングすることで、幾何学的整合性を維持する。
• ズームされたインスタンス画像上で高解像度の視差マップを推定し、遠く離れた物体のより正確な深度推定を可能にする。
• 調整済みのカメラパrameterを用いて、ズームされた視差マップを3次元点群に投影し、オブジェクトの距離に関係なく一様に密集した点群を生成する。
• 部分位置ヘッドを導入し、ピクセル単位の部分位置（例：前、後、側面）を予測することで、3次元に意識的な監視を追加し、隠蔽下での一般化性能を向上させる。
• 3次元適合スコアを提案する。これは3次元IoUに基づいて計算され、2次元分類確率よりも検出品質をよりよく反映する信頼性の指標である。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトインスタンスのアダプティブズームは、ステレオ3次元検出における遠方物体の視差推定および3次元点群品質を向上させることができるか？
• RQ2 ピクセル単位の部分位置監視を組み込むことで、隠蔽下での検出の耐性はどのように向上するか？
• RQ3 3次元適合スコアは、2次元分類確率よりも3次元検出の信頼性推定に優れているか？
• RQ4 アダプティブズーム、部分位置、3次元適合スコアの組み合わせが、挑戦的なKITTIベンチマークでの性能にどの程度寄与するか？
• RQ5 ピクセル単位のアノテーションを備えた新しい細分化データセット（KFG）は、ステレオ3次元検出の評価および学習をより良く可能にするか？

主な発見

• ZoomNet は、KITTI 3次元検出ベンチマークで疑似LiDARに対して9.4%の絶対的向上を達成し、新たな最先端性能を確立した（APbv（IoU=0.7））。
• KITTI Modeセットでは、APbv（IoU=0.7）が72.94%に達し、すべての先行画像ベース手法を上回り、ステレオベース手法として初めてHardセットで70%を超えた。
• アブレーションスタディの結果、アダプティブズームのみで、ベースライン比でAP3d（IoU=0.7）が10%以上向上した。これは、点群の密度と品質を向上させる上で極めて重要な役割を果たしていることを示している。
• 部分位置監視を削除すると、HardセットでAP3d（IoU=0.7）が40.88%低下し、隠蔽された物体の検出においてその重要性が確認された。
• 3D適合スコアは検出の信頼性推定を顕著に向上させ、削除するとAP3d（IoU=0.7）が4%低下し、特に高いIoU閾値で顕著であった。
• コードと併せて公開されたKFGデータセットは、部分位置と視差のピクセル単位のアノテーションを備えており、今後の細分化3次元検出研究を可能にする。