[論文レビュー] Learning Common and Specific Features for RGB-D Semantic Segmentation with Deconvolutional Networks

Jinghua Wang, Zhenhua Wang+3 more|arXiv (Cornell University)|Aug 3, 2016

Advanced Neural Network Applications参考文献 30被引用数 12

ひとこと要約

本論文は、RGBおよび深度入力から共通特徴とモダリティ固有特徴を明示的に学習する、新しい特徴変換モジュールを備えたデコンボリューショナルネットワークを提案する。最大平均差分（MK-MMD）を用いて特徴分布を整列させ、共通特徴のモダリティ間借用を可能にすることで、NYU Depth V1およびV2で最先端の精度を達成し、従来手法より最大7.4%の平均精度向上を達成した。

ABSTRACT

In this paper, we tackle the problem of RGB-D semantic segmentation of indoor images. We take advantage of deconvolutional networks which can predict pixel-wise class labels, and develop a new structure for deconvolution of multiple modalities. We propose a novel feature transformation network to bridge the convolutional networks and deconvolutional networks. In the feature transformation network, we correlate the two modalities by discovering common features between them, as well as characterize each modality by discovering modality specific features. With the common features, we not only closely correlate the two modalities, but also allow them to borrow features from each other to enhance the representation of shared information. With specific features, we capture the visual patterns that are only visible in one modality. The proposed network achieves competitive segmentation accuracy on NYU depth dataset V1 and V2.

研究の動機と目的

• 共通特徴とモダリティ固有特徴をモデル化することで、RGB-Dセマンティックセグメンテーションの精度を向上させること。
• 従来手法が意思決定レベルでの特徴融合や浅い連結のみにとどまっているという限界を解消すること。
• 共有された共通特徴を通じてモダリティ間特徴借用を可能にし、ロバストネスと表現力を向上させること。
• 分布レベルの類似度を用いて共通特徴と固有特徴を分離する特徴変換ネットワークを開発すること。
• 既存の最先端手法と比較して、標準的なRGB-Dベンチマークで優れた性能を示すこと。

提案手法

• RGBおよび深度モダリティのそれぞれに別々の畳み込みおよびデコンボリューションネットワークを備えた二重ブランチアーキテクチャ。
• 上位レイヤーの畳み込み特徴を共通特徴（両モダリティで共有）とモダリティ固有特徴（それぞれ固有）に分解する特徴変換ネットワーク。
• 最大カーネル平均差分（MK-MMD）を用いて特徴分布間の類似度を測定・最適化し、よりロバストな性能を得るためにユークリッド距離を置き換える。
• 各モダリティのデコンボリューショナルネットワークに、自身の固有特徴に加え、他モダリティの共通特徴を入力することで、モダリティ間の特徴補完を可能にする。
• 線形結合による意思決定スコア統合を行い、対称的な特徴借用によりロバストネスを向上させる。
• 標準的なバックプロパゲーションを用いたエンドツーエンド学習と、すべてのコンponentsの共同最適化。

実験結果

リサーチクエスチョン

• RQ1 共通特徴とモダリティ固有特徴の明示的モデリングが、RGB-Dセマンティックセグメンテーションの性能向上に寄与するか？
• RQ2 意思決定レベルではなく特徴レベルでの相関関係学習が、より高いセグメンテーション精度をもたらすか？
• RQ3 共通特徴のモダリティ間借用が、データが少ない状況下でもロバストネスと表現力を向上させるか？
• RQ4 MK-MMDが、マルチモーダルセグメンテーションにおける共有特徴分布の学習に、ユークリッド距離よりも効果的か？
• RQ5 本手法は、標準的なRGB-Dベンチマークで、既存の最先端手法と比較してどのように優れているか？

主な発見

• 13クラスのNYU Depth V2データセットにおいて、本手法は52.7%の平均クラス精度を達成し、以前のSOTA手法（Wang et al., 2018）を10.5ポイント上回った。
• 40クラスのセグメンテーションタスクでは、47.3%の平均精度を達成し、以前の最高結果（U-DN）を5.6ポイント上回った。
• NYU Depth V2において、ベースラインのB-DN（独立した二つのデコンボリューショナルネットワーク）よりも5.1ポイントの向上を示し、特徴レベルの統合の有効性を裏付けた。
• NYU Depth V1において、MK-MMDを用いた特徴整列は、ユークリッド距離ベースライン（E-DN）に比べ7.4%の向上を示し、分布差の処理において優位性を示した。
• スコア統合の線形結合パラメータに対して、共通特徴の借用により両モダリティのデコンボリューショナル出力がより類似しているため、本手法はよりロバストである。
• アブレーションスタディにより、モダリティ固有特徴が極めて重要であることが確認され、それらを抑制すると、特にテクスチャが豊富または深度が曖昧な領域で顕著な性能低下が生じた。