[論文レビュー] RGB-D Scene Labeling with Long Short-Term Memorized Fusion Model.

Zhen Li, Yukang Gan+4 more|arXiv (Cornell University)|Apr 18, 2016

Advanced Vision and Imaging参考文献 25被引用数 12

ひとこと要約

本稿では、縦方向の空間的依存関係をスタックされた畳み込み層とLSTM層を用いて捉えることで、RGBおよび深度特徴を統合するLong Short-Term Memorized Fusion (LSTM-F)モデルを提案する。その後、チャネル間でこれらの文脈を統合し、双方向に伝搬させることで、2次元の完全なグローバル文脈を獲得する。この手法は、SUNRGBDデータセットにおいて平均クラス正解率48.1%を達成し、先行研究比で11.8%の向上を示し、新たな最先端性能を達成した。

ABSTRACT

Semantic labeling of RGB-D scenes is crucial to many intelligent applications including perceptual robotics. It generates pixelwise and fine-grained label maps from simultaneously sensed photometric (RGB) and depth channels. This paper addresses this problem by i) developing a novel Long Short-Term Memorized Fusion (LSTM-F) Model that captures and fuses contextual information from multiple channels of photometric and depth data, and ii) incorporating this model into deep convolutional neural networks (CNNs) for end-to-end training. Specifically, global contexts in photometric and depth channels are, respectively, captured by stacking several convolutional layers and a long short-term memory layer; the memory layer encodes both short-range and long-range spatial dependencies in an image along the vertical direction. Another long short-term memorized fusion layer is set up to integrate the contexts along the vertical direction from different channels, and perform bi-directional propagation of the fused vertical contexts along the horizontal direction to obtain true 2D global contexts. At last, the fused contextual representation is concatenated with the convolutional features extracted from the photometric channels in order to improve the accuracy of fine-scale semantic labeling. Our proposed model has set a new state of the art, i.e., 48.1% average class accuracy over 37 categories 11.8% improvement), on the large-scale SUNRGBD dataset.1

研究の動機と目的

• 光度的特徴と深度データを効果的に統合することで、RGB-Dシーンにおける意味的ラベリング精度を向上させること。
• 再帰的記憶メカニズムを用いて、RGBおよび深度画像における短距離および長距離の空間的依存関係をモデル化すること。
• 複数のモodalから得られるグローバル文脈表現を統一された特徴空間に統合し、微細なピクセル単位のラベリングを可能にすること。
• 提案された統合メカニズムを用いた深層ニューラルネットワークのエンドツーエンド学習を可能にすること。
• 大規模なRGB-Dシーン理解ベンチマークで最先端の性能を達成すること。

提案手法

• スタックされた畳み込み層に続く縦方向のLSTM層を用いて、RGBおよび深度チャネルの両方におけるグローバル空間的文脈を捉えるためのLong Short-Term Memorized Fusion (LSTM-F)モデルを設計する。
• LSTM層は、各モダリティの特徴マップの縦方向における短距離および長距離の空間的依存関係を符号化する。
• 2番目のLSTM-F層は、RGBおよび深度モダリティの縦方向文脈表現を縦軸に沿って統合する。
• 統合された縦方向文脈を横方向に双方向に伝搬させることで、真の2次元グローバル文脈を捉える。
• 最終的な統合文脈表現は、元の光度的畳み込み特徴と連結され、微細なスケールの意味的ラベリングを強化する。
• 提案されたLSTM-F統合モジュールを用いた深層CNNフレームワークにより、ネットワーク全体をエンドツーエンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 再帰的記憶メカニズムは、RGB-Dシーンラベリングにおいて長距離の空間的依存関係を効果的にモデル化できるか？
• RQ2 LSTMベースの統合層を用いてRGBおよび深度モダリティの文脈特徴を統合することで、意味的セグメンテーション精度が向上するか？
• RQ3 横方向に統合された縦方向文脈を双方向に伝搬させることで、真の2次元グローバル文脈を回復できるか？
• RQ4 学習されたグローバル文脈を局所的畳み込み特徴と統合することで、微細な意味的ラベリングの性能が向上するか？
• RQ5 大規模なRGB-Dデータセットにおいて、提案されたLSTM-F統合モデルは、既存の最先端手法に対してどの程度の性能向上を達成できるか？

主な発見

• 提案されたLSTM-Fモデルは、37カテゴリにわたるSUNRGBDデータセットで平均クラス正解率48.1%を達成し、新たな最先端性能を記録した。
• 先行の最先端手法と比較して、平均クラス正解率が11.8%も向上した。
• 双方向LSTM統合の統合により、完全な2次元グローバル文脈のモデル化が可能となり、意味的ラベリングのための特徴表現が向上した。
• 長短記憶層の使用により、RGBおよび深度特徴の縦方向における短距離および長距離の空間的依存関係が効果的に捉えられた。
• 統合されたグローバル文脈を局所的畳み込み特徴と連結することで、より正確で微細なピクセル単位の予測が可能になった。
• エンドツーエンド学習戦略により、最適な特徴学習と統合が実現され、モデルの優れた性能に寄与した。