[論文レビュー] Feature Sharing and Integration for Cooperative Cognition and Perception with Volumetric Sensors

Amir Emad Marvasti, Arash Raftari+4 more|arXiv (Cornell University)|Nov 16, 2020

CCD and CMOS Imaging Sensors参考文献 31被引用数 8

ひとこと要約

本稿では、体積センサー向けの協調的センシングフレームワークとして、Deep Feature Sharing (DFS) を提案する。DFS は、車両間での中間ニューラルネットワーク特徴量の効率的統合を可能にし、通信負荷を低減しながら物体検出性能を向上させる。GPSノイズ下でも、特徴量レベルの統合の堅牢性と局所化誤差への感受性の低さにより、生情報共有や仮説共有よりも平均精度で優れる。

ABSTRACT

The recent advancement in computational and communication systems has led to the introduction of high-performing neural networks and high-speed wireless vehicular communication networks. As a result, new technologies such as cooperative perception and cognition have emerged, addressing the inherent limitations of sensory devices by providing solutions for the detection of partially occluded targets and expanding the sensing range. However, designing a reliable cooperative cognition or perception system requires addressing the challenges caused by limited network resources and discrepancies between the data shared by different sources. In this paper, we examine the requirements, limitations, and performance of different cooperative perception techniques, and present an in-depth analysis of the notion of Deep Feature Sharing (DFS). We explore different cooperative object detection designs and evaluate their performance in terms of average precision. We use the Volony dataset for our experimental study. The results confirm that the DFS methods are significantly less sensitive to the localization error caused by GPS noise. Furthermore, the results attest that detection gain of DFS methods caused by adding more cooperative participants in the scenes is comparable to raw information sharing technique while DFS enables flexibility in design toward satisfying communication requirements.

研究の動機と目的

• 車両ネットワークにおける協調的センシングの限界、特に帯域制限とGPSノイズによる局所化誤差を解決すること。
• 体積センサーを用いた協調的物体検出における、通信効率と検出性能のトレードオフを調査すること。
• 生データ共有（高帯域）と仮説共有（低帯域だが誤りに弱い）の中間として、Deep Feature Sharing (DFS) を提案・評価すること。
• GPSノイズと協調参加車両数が、異なる共有パラダイムにおける検出性能に与える影響を分析すること。
• DFSが、既存手法と比較して通信コストを低減しつつ高い検出性能とより高い耐性を実現できることを実証すること。

提案手法

• 中間特徴量を用いたDFSベースの協調的物体検出システムを実装し、車両間で特徴量を送受信する。
• 協調参加者間での特徴量統合に要素ごとの和を用い、検出ヘッドの前段で情報を統合する。
• 完全に処理済みの情報共有を基準として用いるための仮説共有法（HSM）を設計する。この方法では、各車両が独立に予測した検出仮説を共有する。
• 完全なLIDAR点群を送信する生情報共有（RIS）ベースラインを実装する。
• 一貫性のある評価を確保するため、固定アンカー（1セルあたり4個）を用いた非最大抑制（NMS）を適用する。
• GPSノイズレベルと協調参加車両数を変化させた実験評価にVolonyデータセットを用いる。

実験結果

リサーチクエスチョン

• RQ1 GPSノイズ下において、Deep Feature Sharing (DFS) は生情報共有（RIS）や仮説共有（HSM）と比較して、平均精度でどのように差がつくか？
• RQ2 各共有パラダイムにおける協調参加車両数の増加が、検出性能に与える影響は何か？
• RQ3 RIS、HSM、DFS の各手法は、GPSノイズによる局所化誤差に対してどれほど感受性を示すか？
• RQ4 なぜHSMの性能は協調参加者が増えると低下するのか、特に歩行者検出において顕著なのはなぜか？
• RQ5 NMSの設計は、特に仮説共有アプローチにおいて、どれほど検出性能に制限を及えるか？

主な発見

• 要素ごとの和を用いたDFSは、RISと同等の検出性能を達成し、GPSノイズに対しては著しく感受性が低い。
• HSMの性能は、協調参加車両数の増加に伴い低下する。これは、誤検出の蓄積と、重複する仮説の不完全なNMS統合によるものである。
• 歩行者検出では、IoU閾値が厳しく（40％）なため、HSMの精度低下が顕著に現れる。
• RISとDFSは、参加者数の増加に対しても精度が安定する。これは、仮説生成の前段で統合が行われ、固定アンカー数によって制限されるためである。
• HSMはDFS や RIS よりも高い再現率を示すが、高い誤検出率を伴う。
• 本結果は、特に複数のソースからの仮説統合時に局所化誤差が影響を及ぼす状況において、現在のNMS設計に深刻な欠陥があることを示している。