[論文レビュー] DCANet: Differential Convolution Attention Network for RGB-D Semantic Segmentation

Lizhi Bai, Jun Yang+5 more|arXiv (Cornell University)|Oct 13, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本稿では、深度データに Differential Convolution Attention (DCA) を、RGB データに Ensemble Differential Convolution Attention (EDCA) を使用する、RGB-D セマンティックセグメンテーションのための新規二本のブランチネットワークである DCANet を提案する。DCA は画素単位の差分に基づいて特徴を動的に重み付けすることで、局所的な幾何的整合性を捉える。一方 EDCA は、RGB 特徴における長距離依存性と空間的文脈をモデル化する。DCANet は、NYUDv2 および SUN-RGBD で、それぞれマルチスケールテスト下で mIoU 53.3% および 49.6% の最先端性能を達成した。

ABSTRACT

Combining RGB images and the corresponding depth maps in semantic segmentation proves the effectiveness in the past few years. Existing RGB-D modal fusion methods either lack the non-linear feature fusion ability or treat both modal images equally, regardless of the intrinsic distribution gap or information loss. Here we find that depth maps are suitable to provide intrinsic fine-grained patterns of objects due to their local depth continuity, while RGB images effectively provide a global view. Based on this, we propose a pixel differential convolution attention (DCA) module to consider geometric information and local-range correlations for depth data. Furthermore, we extend DCA to ensemble differential convolution attention (EDCA) which propagates long-range contextual dependencies and seamlessly incorporates spatial distribution for RGB data. DCA and EDCA dynamically adjust convolutional weights by pixel difference to enable self-adaptive in local and long range, respectively. A two-branch network built with DCA and EDCA, called Differential Convolutional Network (DCANet), is proposed to fuse local and global information of two-modal data. Consequently, the individual advantage of RGB and depth data are emphasized. Our DCANet is shown to set a new state-of-the-art performance for RGB-D semantic segmentation on two challenging benchmark datasets, i.e., NYUDv2 and SUN-RGBD.

研究の動機と目的

• RGB および深度の両モダリティに同一の処理を適用する従来の RGB-D フュージョン手法の限界を是正する。これは、両者の表現様式や情報含量に本質的な差異があるにもかかわらずである。
• 深度マップの局所的な幾何的整合性と、RGB 画像のグローバルな文脈パターンを活用することで、特徴表現を向上させる。
• 画素単位の差分に基づいて畳み込み重みを動的に調整する自己適応型アテンション機構を設計し、局所的および長距離の特徴学習を改善する。
• モダリティ特化型のアテンションモジュールを活用することで、RGB-D セマンティックセグメンテーションにおいて最先端の性能を達成する。

提案手法

• 中心画素とその周囲画素との画素単位の差分に基づいて畳み込み重みを動的に調整する Differential Convolution Attention (DCA) モジュールを提案する。これにより、深度マップにおける局所的な幾何的パターンの捉えが向上する。
• DCA を拡張して、類似した動的重み付けメカニズムを用いて長距離依存性と空間的分布を統合する Ensemble Differential Convolution Attention (EDCA) を提案する。これにより、RGB 特徴における空間的文脈をモデル化できる。
• DCA を深度ブランチに、EDCA を RGB ブランチに適用する二本のブランチネットワークアーキテクチャを設計する。これにより、統合の前段階でモダリティ特化型の特徴強化が可能になる。
• DCA および EDCA が生成する学習可能なアテンションマップを用いて特徴表現を精緻化し、関連する空間的・幾何的パターンに注目できるようにする。
• アーキテクチャの変更なしに、ベンチマークデータセットでの性能向上を図るためにマルチスケール推論戦略を採用する。
• DCA および EDCA をプラグアンドプレイモジュールとして統合し、既存のセグメンテーションフレームワークへの容易な統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 RGB と深度データの幾何的および光度的特性の違いを考慮すると、両者の補完的特長を効果的に活用するにはどうすればよいか？
• RQ2 画素単位の差分に基づく動的畳み込み機構は、深度マップにおける局所的特徴表現を改善できるか？
• RQ3 空間的に注意を向けた適応型アテンション機構を用いることで、RGB データの長距離文脈的依存性をよりよく捉えることができるか？
• RQ4 モダリティ特化型のアテンション設計は、均一な統合戦略に比べて、RGB-D セマンティックセグメンテーションの性能向上に寄与するか？

主な発見

• マルチスケールテスト下で、DCANet は NYUDv2 テストセットにおいて mIoU 53.3% の新記録を達成し、最も近いベースラインより 3.7 パcent 点高い性能を示した。
• SUN-RGBD データセットでも、マルチスケールテスト下で mIoU 49.6% を達成し、以前の最先端手法を 1.5 パcent 点上回った。
• アブレーションスタディの結果、DCA は特に外観が似通っていても深度が異なる領域において、微細な幾何的パターンを捉えることで、深度特徴表現が顕著に向上することが確認された。
• EDCA は RGB 特徴におけるグローバル文脈モデリングを効果的に向上させ、困難な照明条件やオクルージョン下でも物体のセグメンテーション精度を向上させた。
• アテンションマップの可視化結果から、DCA は局所的な深度の不連続性（例：物体の縁）に注目しているのに対し、EDCA は RGB 画像における意味的に重要なグローバル構造を強調していることがわかった。
• DCA および EDCA のプラグアンドプレイ設計により、さまざまなバックボーンアーキテクチャおよびデータセットにおいて一貫した性能向上が得られた。