[論文レビュー] Global-Local Propagation Network for RGB-D Semantic Segmentation

Sihan Chen, Xinxin Zhu+3 more|arXiv (Cornell University)|Jan 26, 2021

Advanced Neural Network Applications参考文献 19被引用数 11

ひとこと要約

本稿では、RGB-Dセマンティックセグメンテーションのための新規な2ストリームエンコーダデコーダネットワークであるGLPNetを提案する。この手法は、局所的コンテキスト統合モジュール（L-CFM）による動的空間アライメントと、グローバルコンテキスト統合モジュール（G-CFM）によるマルチモodalコンテキストモデリングを通じて、深度特徴の伝搬を向上させる。本手法は、生の深度入力を用いてNYU-Depth v2（54.6% mIoU）およびSUN-RGBD（51.2% mIoU）の両ベンチマークで最先端性能を達成し、従来手法を2%以上のmIoUで上回った。

ABSTRACT

Depth information matters in RGB-D semantic segmentation task for providing additional geometric information to color images. Most existing methods exploit a multi-stage fusion strategy to propagate depth feature to the RGB branch. However, at the very deep stage, the propagation in a simple element-wise addition manner can not fully utilize the depth information. We propose Global-Local propagation network (GLPNet) to solve this problem. Specifically, a local context fusion module(L-CFM) is introduced to dynamically align both modalities before element-wise fusion, and a global context fusion module(G-CFM) is introduced to propagate the depth information to the RGB branch by jointly modeling the multi-modal global context features. Extensive experiments demonstrate the effectiveness and complementarity of the proposed fusion modules. Embedding two fusion modules into a two-stream encoder-decoder structure, our GLPNet achieves new state-of-the-art performance on two challenging indoor scene segmentation datasets, i.e., NYU-Depth v2 and SUN-RGBD dataset.

研究の動機と目的

• 従来のマルチステージ特徴統合手法では、深層ネットワークの段階で深度情報が十分に活用されないという限界を解消すること。
• 2ストリームエンコーダーにおける非対称的なダウンサンプリングによって引き起こされるRGBと深度特徴間の空間的不一致を改善すること。
• グローバルコンテキストモデリングを通じて、深度情報がハイレベル表現に影響を与えることで、RGB特徴からのセマンティックガイダンスを強化すること。
• 局所的精度とグローバルコンテキストを併用する統合メカニズムを設計し、より効果的なクロスモーダル特徴伝搬を実現すること。
• HHA符号化に依存せず、標準的なRGB-Dセグメンテーションベンチマークで最先端の性能を達成すること。

提案手法

• GLPNetは、ResNet-101をバックボーンとして用いた2ストリームエンコーダデコーダアーキテクチャを採用し、初期段階でRGBと深度入力を別々に処理する。
• 局所的コンテキスト統合モジュール（L-CFM）は、畳み込み層を介して空間オフセットを予測し、その後特徴のワープを実行してRGBと深度特徴を動的にアライメントした後、要素ごとの加算を実行する。
• グローバルコンテキスト統合モジュール（G-CFM）は、両モダリティから注意ベースのプーリングマスクを計算し、重み付き統合によって深度特徴を各RGBピクセルに集約することで、マルチモーダルグローバルコンテキストをモデリングする。
• L-CFMとG-CFMは最終エンコーダ段階で並列に適用され、出力を連結して畳み込みブロックを通過させた後、デコーダに供給される。
• デコーダはFPNに類似した構造を採用し、浅いエンコーダ段階からのスキップ接続を活用し、統合前に特徴次元を256に削減する。
• ネットワークはエンドツーエンドで訓練され、交差エントロピー損失とDice損失が使用され、最終段階では解像度を維持するための拡張畳み込みが用いられる。

実験結果

リサーチクエスチョン

• RQ1 RGBと深度特徴間の動的空間アライメントが、深層ネットワークにおけるクロスモーダル統合を向上させることができるか？
• RQ2 マルチモーダルグローバルコンテキストを共同でモデリングすることで、セマンティックセグメンテーションにおける深度特徴伝搬が向上するか？
• RQ3 局所的統合とグローバル統合の組み合わせが、従来の後段統合における要素ごとの加算を上回る性能を発揮できるか？
• RQ4 HHA符号化に代えて生の深度画像を用いることで、性能と効率性が向上するか？
• RQ5 提案された統合モジュールは、多様なインDoorシーンデータセットに一般化可能か？

主な発見

• GLPNetはNYU-Depth v2のテストセットで54.6% mIoUを達成し、以前の最先端手法（SA-Gate）を2.2ポイント上回った。
• SUN-RGBDデータセットでは、ベースラインのmIoUを44.0%から51.2%に向上させ、新たな最先端を樹立した。
• アブレーションスタディにより、L-CFMとG-CFMの両方が顕著な貢献を示した。NYU-Depth v2において、L-CFMはmIoUを0.14%向上、G-CFMは1.49%向上させた。
• K=15のプーリング領域を有するG-CFMバリアントが最良のパフォーマンス（50.31% mIoU）を示し、グローバルコンテキストモデリングの重要性を裏付けた。
• HHA符号化に依存しない生の深度入力を用いることで、性能が向上し、推論コストが削減された。HHA依存手法との比較で明確に優れた結果が得られた。
• G-CFMのプーリングマスクの可視化により、モデルが両モダリティにおいて意味的に関連する領域に注目していることが示され、効果的な注目メカニズムの学習が行われたことが裏付けられた。