[論文レビュー] Leveraging RGB-D Data with Cross-Modal Context Mining for Glass Surface Detection

Jiaying Lin, Yuen Hei Yeung+2 more|arXiv (Cornell University)|Jun 22, 2022

Remote Sensing and LiDAR Applications被引用数 8

ひとこと要約

本稿では、ガラス透過による欠落領域を含む深度マップアーチファクトを活用することで、検出性能を向上させる、新しいRGB-Dガラス表面検出フレームワークを提案する。クロスモーダルコンテキストマイニング（CCM）と深度欠落に強いアテンション（DAA）を用いる。新規のRGB-D GSDデータセットにおける実験により、最先端の性能を達成し、IoUが0.742、Fβスコアが0.853を記録。既存のRGBのみの手法を上回る性能を示した。

ABSTRACT

Glass surfaces are becoming increasingly ubiquitous as modern buildings tend to use a lot of glass panels. This, however, poses substantial challenges to the operations of autonomous systems such as robots, self-driving cars, and drones, as these glass panels can become transparent obstacles to navigation. Existing works attempt to exploit various cues, including glass boundary context or reflections, as priors. However, they are all based on input RGB images. We observe that the transmission of 3D depth sensor light through glass surfaces often produces blank regions in the depth maps, which can offer additional insights to complement the RGB image features for glass surface detection. In this work, we first propose a large-scale RGB-D glass surface detection dataset, extit{RGB-D GSD}, for rigorous experiments and future research. It contains 3,009 images, paired with precise annotations, offering a wide range of real-world RGB-D glass surface categories. We then propose a novel glass surface detection framework combining RGB and depth information, with two novel modules: a cross-modal context mining (CCM) module to adaptively learn individual and mutual context features from RGB and depth information, and a depth-missing aware attention (DAA) module to explicitly exploit spatial locations where missing depths occur to help detect the presence of glass surfaces. Experimental results show that our proposed model outperforms state-of-the-art methods.

研究の動機と目的

• 境界線の手がかりに過度に依存するRGBのみのガラス表面検出手法の限界を解決すること。特に境界線が曖昧またはガラスに似た領域が存在する状況で失敗する問題を対処する。
• 光透過によるガラス表面に起因する深度マップアーチファクト（特に深度値の欠落）を、検出のための信頼できる手がかりとして活用すること。
• 適応的コンテキストマイニングと深度欠落への注意を組み合わせた、RGBと深度情報を効果的に統合するマルチモーダル学習フレームワークの開発。
• 今後の研究を支援するため、大規模かつ現実世界のRGB-Dデータセットを構築すること。

提案手法

• RGBと深度入力から、暗黙的および明示的なマルチモーダルコンテキストサブモジュールを用いて、個別的および相互的コンテキスト特徴を適応的に学習するクロスモーダルコンテキストマイニング（CCM）モジュールを提案。
• 深度欠落領域とガラス表面位置の空間的相関を明示的にモデル化することで、特徴表現を強化する、深度欠落に強いアテンション（DAA）モジュールを導入。
• RGBと深度入力を別々に処理する二重ブランチエンコーダ-デコーダーのネットワークアーキテクチャを設計。その後、CCMモジュールを介して特徴を統合。
• DAAモジュール内で、深度欠落マップに基づいてRGB、深度、およびクロスモーダル表現からの特徴を学習可能なアテンション機構で重み付け。
• セグメンテーションの監督のために、バイナリクロスエントロピー損失と平均絶対誤差（MAE）損失を用いて、モデルをエンドツーエンドで訓練。
• 3,009組の現実世界のRGB-D画像ペアを含み、ガラス表面のピクセル単位の正確なアノテーションが付与されたRGB-D GSDデータセットを構築。

実験結果

リサーチクエスチョン

• RQ1 深度マップアーチファクト（例：欠落領域）が、RGBベースの境界線学習を超えて、ガラス表面検出に信頼できる手がかりとして機能するか？
• RQ2 RGBと深度特徴間のクロスモーダルコンテキストを効果的にモデル化することで、困難なシーンにおける検出のロバスト性が向上するか？
• RQ3 標準的なアテンション機構と比較して、深度欠落領域に明示的に注目することで、検出性能がどの程度向上するか？
• RQ4 大規模かつ現実世界のRGB-Dデータセットが、ガラス表面検出モデルの性能と一般化能力を顕著に向上させられるか？

主な発見

• 提案フレームワークは、RGB-D GSDデータセットで0.742のIoUと0.853のFβスコアを達成。EBLNet や Lin et al. [31] などの最先端のRGBのみの手法を上回る性能を示した。
• アブレーションスタディにより、暗黙的および明示的マルチモーダルコンテキストマイニングサブモジュールを併用したCCMモジュールが最良の性能を発揮し、単一モーダルバージョンと比較してIoUが0.026向上した。
• DAAモジュールは特徴表現を顕著に向上させ、深度欠落マップを入力に含む完全なモデルは、BERが9.33、MAEが0.043と最低水準にまで低下。深度欠落入力なしのバージェントと比較して優れた性能を示した。
• DAAモジュールは、クロスモーダル特徴（CM）に適用した場合に最も効果的であり、Fβが0.846、BERが9.30を記録。これは、統合的モダリティ表現がロバストな検出に不可欠であることを示している。
• 境界線が曖昧またはガラスに似た外観を示す困難なシーンにおいても、RGBのみの手法が失敗する状況で、本モデルはガラス表面を正常に検出できた。定性的な比較でその有効性が確認された。
• 失敗事例は、RGBおよび深度入力の両方が文脈的手がかりを欠く状況（例：黒板やホワイトボード）で発生し、文脈依存の一般化能力の限界を示唆している。