[論文レビュー] HyperDet3D: Learning a Scene-conditioned 3D Object Detector

Yu Zheng, Yueqi Duan+3 more|arXiv (Cornell University)|Apr 12, 2022

Advanced Neural Network Applications被引用数 6

ひとこと要約

HyperDet3D は、ハイパーネットワークベースのアーキテクチャを用いて、シーンに依存しない知識とシーンに特化した知識の両方を活用するシーン条件付き3次元オブジェクト検出器を提案する。入力されたシーンの文脈に基づいて検出器パラメータを動的に適応させるためのマルチヘッド・シーン特化型アテンション（MSA）モジュールを用いることで、ScanNet および SUN RGB-D で最先端の性能を達成し、ベッドやトイレといった困難なカテゴリにおいて顕著な向上を示し、ドメインシフト下でも一般化性能に優れる。

ABSTRACT

A bathtub in a library, a sink in an office, a bed in a laundry room -- the counter-intuition suggests that scene provides important prior knowledge for 3D object detection, which instructs to eliminate the ambiguous detection of similar objects. In this paper, we propose HyperDet3D to explore scene-conditioned prior knowledge for 3D object detection. Existing methods strive for better representation of local elements and their relations without scene-conditioned knowledge, which may cause ambiguity merely based on the understanding of individual points and object candidates. Instead, HyperDet3D simultaneously learns scene-agnostic embeddings and scene-specific knowledge through scene-conditioned hypernetworks. More specifically, our HyperDet3D not only explores the sharable abstracts from various 3D scenes, but also adapts the detector to the given scene at test time. We propose a discriminative Multi-head Scene-specific Attention (MSA) module to dynamically control the layer parameters of the detector conditioned on the fusion of scene-conditioned knowledge. Our HyperDet3D achieves state-of-the-art results on the 3D object detection benchmark of the ScanNet and SUN RGB-D datasets. Moreover, through cross-dataset evaluation, we show the acquired scene-conditioned prior knowledge still takes effect when facing 3D scenes with domain gap.

研究の動機と目的

• 異なるシーンで類似した外観を示すオブジェクトによる3次元オブジェクト検出の曖昧さを解消すること。
• シーンレベルの事前知識を3次元検出器に統合し、検出精度と耐障害性を向上させること。
• 入力されたシーンの文脈に基づいて推論時に検出器パラメータを動的に適応させること。
• ドメインギャップを伴うゼロショットおよびクロスデータセット設定におけるシーン条件付き知識の有効性を調査すること。

提案手法

• HyperDet3D は、シーンの文脈に応じて検出器重みを生成するハイパーネットワークベースの構造を採用する。
• シーンに依存しない埋め込み（複数のシーンに共有）と、個々の入力に特化した表現の2段階のシーン条件付き知識を学習する。
• マルチヘッド・シーン特化型アテンション（MSA）モジュールが、シーン埋め込みに対して動的アテンションを計算し、検出器のレイヤー・パラメータを変調する。
• シーンに依存しない特徴量とシーン特化型特徴量をラテント・フェージョンにより融合し、デコーダー内のオブジェクト候補特徴量をガイドする。
• 投票ベースの回帰を用いてオブジェクトの中心座標とオフセットを回帰する検出ヘッドを用いて、エンドツーエンドでネットワークを訓練する。
• ハイパーネットワークでは、シーンに依存しない知識とシーン特化型知識の両方の抽出に、1つの線形層を共用する。

実験結果

リサーチクエスチョン

• RQ1 シーン条件付きの事前知識は、異なる環境における類似した物体の検出における曖昧さを軽減できるか？
• RQ2 シーンに依存しない知識とシーン特化型知識の統合は、標準ベンチマークにおける検出精度の向上にどの程度効果的か？
• RQ3 提案手法は、ドメインギャップを伴う未学習のシーン、例えばクロスデータセット評価においても一般化できるか？
• RQ4 ドメインシフトに対処するにあたり、シーン特化型知識とアテンションベースの変調の相対的寄与度はどの程度か？

主な発見

• SUN RGB-D V1 バリデーションセットにおいて、HyperDet3D は mAP 47.3 を達成し、GF3D や Ours（45.2）を上回る最先端の性能を示した。
• ScanNet V2 バリデーションセットでは、mAP 58.9 を達成し、GF3D（48.6）を上回った。ベッド（78.9%）やトイレ（71.4%）のカテゴリで顕著な向上が見られた。
• クロスデータセット評価（SUN RGB-D で事前学習し、ScanNet でファインチューニング）においても、HyperDet3D は高い性能を維持し、ドメインシフトに対する頑健性を示した。
• アブレーションスタディの結果、MSA モジュールを削除すると mAP が 3.4% 減少し、これはシーン特化型知識単体よりも、MSA の貢献度がより大きいことを示している。
• ベッド、本棚、トイレなど、シーン依存性の高いカテゴリにおいて顕著な向上が得られた。
• bathtub（mAP: 59.1 vs. GF3D の 64.0）における性能低下は、アノテーションの疎らさに起因するとされ、データ不足が制限要因であると考えられる。