[論文レビュー] MLCVNet: Multi-Level Context VoteNet for 3D Object Detection

Qian Xie, Yu‐Kun Lai+5 more|arXiv (Cornell University)|Apr 12, 2020

Advanced Neural Network Applications参考文献 50被引用数 28

ひとこと要約

本稿では、自己注意機構とマルチスケール特徴統合を用いて複数レベルの文脈情報を統合することでVoteNetを向上させる、新しい3次元物体検出フレームワークMLCVNetを提案する。本研究では、パッチレベル、オブジェクトレベル、シーンレベルの関係をモデル化する3つの文脈モジュール—パッチ同士の文脈（PPC）、オブジェクト同士の文脈（OOC）、グローバルシーン文脈（GSC）—を導入し、SUN RGB-DおよびScanNetで最先端性能を達成した。VoteNet比でmAP@0.25で5.9%の絶対的向上を達成した。

ABSTRACT

In this paper, we address the 3D object detection task by capturing multi-level contextual information with the self-attention mechanism and multi-scale feature fusion. Most existing 3D object detection methods recognize objects individually, without giving any consideration on contextual information between these objects. Comparatively, we propose Multi-Level Context VoteNet (MLCVNet) to recognize 3D objects correlatively, building on the state-of-the-art VoteNet. We introduce three context modules into the voting and classifying stages of VoteNet to encode contextual information at different levels. Specifically, a Patch-to-Patch Context (PPC) module is employed to capture contextual information between the point patches, before voting for their corresponding object centroid points. Subsequently, an Object-to-Object Context (OOC) module is incorporated before the proposal and classification stage, to capture the contextual information between object candidates. Finally, a Global Scene Context (GSC) module is designed to learn the global scene context. We demonstrate these by capturing contextual information at patch, object and scene levels. Our method is an effective way to promote detection accuracy, achieving new state-of-the-art detection performance on challenging 3D object detection datasets, i.e., SUN RGBD and ScanNet. We also release our code at https://github.com/NUAAXQ/MLCVNet.

研究の動機と目的

• 既存の3次元物体検出器が点群パッチやオブジェクトを独立して扱い、文脈的関係を無視するという限界を是正すること。
• 点群データが不完全または曖昧なノイズや遮蔽を伴う室内シーンにおける検出精度の向上。
• パッチ、オブジェクト、シーンの3レベルの文脈情報を3次元検出パイプラインに統合すること。
• 複数レベルの文脈モデリングが、特に平面的または遮蔽されたオブジェクトに対して検出のロバスト性と精度を向上させることの実証。
• SUN RGB-DやScanNetなどのベンチマークデータセットで、新たな最先端性能を確立すること。

提案手法

• 投票によるオブジェクト中心の推定前に、隣接する点パッチ間の文脈特徴を自己注意機構を用いて集約するパッチ同士の文脈（PPC）モジュールを導入する。
• 自己注意を用いてオブジェクト候補の関係をモデル化し、検出信頼度とボクセルボックス推定を精緻化するオブジェクト同士の文脈（OOC）モジュールを採用する。
• グローバル特徴集約と自己注意を用いて、長距離依存関係とシーンレベルの意味を捉えるグローバルシーン文脈（GSC）モジュールを設計する。
• 異なる段階におけるマルチスケール特徴を統合することで、各レベルでの特徴表現と文脈モデリングを強化する。
• 3つの文脈モジュールをVoteNetアーキテクチャに統合し、エンドツーエンド学習のパラダイムを維持しながら、文脈的ヒントによる特徴学習を豊かにする。
• 各モジュールに自己注意機構を統合し、特徴類似度に基づいて関連する文脈的情報を動的に重みづけする。

実験結果

リサーチクエスチョン

• RQ1 パッチレベル、オブジェクトレベル、シーンレベルの複数レベルの文脈的情報をモデル化することで、点群における3次元物体検出の精度が向上するか？
• RQ2 自己注意に基づく文脈モデリングを組み込むことで、遮蔽やノイズを伴う困難な室内データセットでの検出性能にどのような影響を与えるか？
• RQ3 パッチレベル、オブジェクトレベル、シーンレベルの文脈が、個別および総合的に検出性能向上にどの程度寄与するか？
• RQ4 文脈モデリングにより、曖昧またはごみだらけのシーンにおける誤検出の削減と一般化性能の向上が可能か？
• RQ5 グローバルシーン文脈の統合により、キッチンにベッドを誤検出するような誤検出を防げるか？

主な発見

• MLCVNetは、ScanNetの検証セットでmAP@0.25が64.5%を達成し、以前の最先端手法であるVoteNet比で5.9%の絶対的向上を示した。
• 同じデータセットでmAP@0.50は78.1%に達し、VoteNet比で7.9%の向上を示しており、より高い局所化精度を示している。
• PPCモジュール単体でもmAP@0.25が0.8ポイント向上し、OOCモジュールがさらに2.6ポイント向上させた。各コンponentによる段階的向上が確認された。
• 特にドア、窓、写真、シャワー・カーテンなどの平面的オブジェクトでは、一部のケースで8ポイント以上の向上が観察された。
• 定性的な結果では、MLCVNetはVoteNetに比べて重複するか誤分類されたボックスが少なく、遮蔽シーンでもより優れた一般化性能を示した。
• アブレーションスタディにより、3つの文脈モジュールを併用することで最高の性能が得られ、複数レベルの文脈モデリングの相補性が裏付けられた。