[論文レビュー] Multi-Modal Attention-based Fusion Model for Semantic Segmentation of RGB-Depth Images

Fahimeh Fooladgar, Shohreh Kasaei|arXiv (Cornell University)|Dec 25, 2019

Advanced Neural Network Applications被引用数 16

ひとこと要約

本論文は、RGB-Depth画像のセマンティックセグメンテーションのための、新しいマルチモーダルアテンションベースの統合ブロック（AFB）を備えた、効率的なエンコーダ-デコーダー畳み込みニューラルネットワーク（CNN）を提案する。AFBは、順次的かつチャネルおよび空間的アテンション機構を用いて、RGBおよび深度ブランチからの特徴を適応的に統合し、計算コストを低減しながら特徴表現を向上させる。本モデルは、先行手法と比較して50%小さいモデルサイズと250G少ないFLOPsを達成し、最先端の性能を発揮する。

ABSTRACT

The 3D scene understanding is mainly considered as a crucial requirement in computer vision and robotics applications. One of the high-level tasks in 3D scene understanding is semantic segmentation of RGB-Depth images. With the availability of RGB-D cameras, it is desired to improve the accuracy of the scene understanding process by exploiting the depth features along with the appearance features. As depth images are independent of illumination, they can improve the quality of semantic labeling alongside RGB images. Consideration of both common and specific features of these two modalities improves the performance of semantic segmentation. One of the main problems in RGB-Depth semantic segmentation is how to fuse or combine these two modalities to achieve more advantages of each modality while being computationally efficient. Recently, the methods that encounter deep convolutional neural networks have reached the state-of-the-art results by early, late, and middle fusion strategies. In this paper, an efficient encoder-decoder model with the attention-based fusion block is proposed to integrate mutual influences between feature maps of these two modalities. This block explicitly extracts the interdependences among concatenated feature maps of these modalities to exploit more powerful feature maps from RGB-Depth images. The extensive experimental results on three main challenging datasets of NYU-V2, SUN RGB-D, and Stanford 2D-3D-Semantic show that the proposed network outperforms the state-of-the-art models with respect to computational cost as well as model size. Experimental results also illustrate the effectiveness of the proposed lightweight attention-based fusion model in terms of accuracy.

研究の動機と目的

• 屋内シーンにおけるセマンティックセグメンテーションの精度を向上させるために、RGBと深度モダリティを効果的に統合すること。
• 計算コストが低い手法を用いて、RGB-Dセマンティックセグメンテーションにおけるモダリティ統合の課題に取り組むこと。
• RGBと深度の特徴マップ間の相関関係を捉える軽量なアテンション機構を開発すること。
• モデルサイズとFLOPsを削減しながら、セグメンテーション性能を維持または向上させること。
• 標準ベンチマーク（NYU-V2、SUN RGB-D、2D-3D-Semantic）上で包括的な指標を用いて、手法の評価を行うこと。

提案手法

• 本モデルは、RGBおよび深度画像のための別々のエンコーダブランチを備えた二重エンコーダ・シングルデコーダアーキテクチャを採用する。
• 各エンコーダブロックの後に、RGBおよび深度両モダリティからの特徴を統合するアテンションベースの統合ブロック（AFB）を挿入する。
• AFBは、チャネルごとのアテンションの後に空間的アテンションを適用し、特徴マップのための適応的統合重みを計算する。
• アテンション機構は、チャネル間の依存関係に基づいて特徴マップを再キャリブレーションするsqueeze-and-excitationネットワークにインspiredされている。
• デコーダに、計算コストを増加させずにグローバルなコンテキストを捉えるための軽量なチェーンド残差プーリング層を追加する。
• 両モダリティの特徴マップを連結し、AFBを通過させて、強化されたモダリティに特化した統合特徴を生成する。

実験結果

リサーチクエスチョン

• RQ1 屋内シーンにおけるセマンティックセグメンテーション性能を向上させるために、RGBと深度特徴をどのように効果的に統合できるか？
• RQ2 アテンションベースの機構は、計算コストを低減しながらも、マルチモーダルセマンティックセグメンテーションにおける精度を維持または向上させることができるか？
• RQ3 本手法は、モデルサイズ、FLOPs、およびセグメンテーション精度の観点で、最先端の手法と比較してどのように異なるか？
• RQ4 アテンションベースの統合ブロックは、初期統合、後期統合、またはミドルレベル統合戦略と比較して、特徴表現をどの程度向上させるか？
• RQ5 境界付近において、特にオクルージョンや低照度領域において、本モデルの性能は画像やオブジェクトクラスにかかわらず一貫性を示すか？

主な発見

• 本モデルは、NYU-V2、SUN RGB-D、2D-3D-Semanticデータセットにおいて、mIoU、グローバル精度、平均精度の観点で最先端の性能を達成した。
• 最も性能の高かった先行手法と比較して、FLOPsを約250G削減し、計算効率を顕著に向上させた。
• 最先端の手法と比較して、モデルサイズを50%削減し、リアルタイム処理やエッジデプロイメントに適したものとなった。
• 累積分布関数（CDF）分析の結果、70%以上のテスト画像が80%以上のグローバル精度を達成しており、画像全体にわたる一貫性ある性能を示した。
• 境界変位誤差（BDE）分析では、'Floor' や 'Chair' のようなクラスにおいて、60%の画像が境界のずれが10ピクセル未満であることが判明し、境界局所化の高精度を示した。
• SUN RGB-DおよびNYU-V2データセットにおける定性的な結果から、特にオクルージョンや低照度領域において、よりシャープで正確なセグメンテーションが得られることを確認した。