[論文レビュー] Depth CNNs for RGB-D scene recognition: learning from scratch better than transferring from RGB-CNNs

Xinhang Song, Luis Herranz+1 more|arXiv (Cornell University)|Jan 21, 2018

Advanced Vision and Imaging被引用数 43

ひとこと要約

この論文は、弱教師ありパッチからゼロから深度特徴を学習し、深度に特化したCNNを用いることで、RGB CNNの転移・ファインチューニングを上回り、RGB-Dシーン認識でNYU2とSUN RGB-Dにおいて最先端を達成することを示している。

ABSTRACT

Scene recognition with RGB images has been extensively studied and has reached very remarkable recognition levels, thanks to convolutional neural networks (CNN) and large scene datasets. In contrast, current RGB-D scene data is much more limited, so often leverages RGB large datasets, by transferring pretrained RGB CNN models and fine-tuning with the target RGB-D dataset. However, we show that this approach has the limitation of hardly reaching bottom layers, which is key to learn modality-specific features. In contrast, we focus on the bottom layers, and propose an alternative strategy to learn depth features combining local weakly supervised training from patches followed by global fine tuning with images. This strategy is capable of learning very discriminative depth-specific features with limited depth images, without resorting to Places-CNN. In addition we propose a modified CNN architecture to further match the complexity of the model and the amount of data available. For RGB-D scene recognition, depth and RGB features are combined by projecting them in a common space and further leaning a multilayer classifier, which is jointly optimized in an end-to-end network. Our framework achieves state-of-the-art accuracy on NYU2 and SUN RGB-D in both depth only and combined RGB-D data.

研究の動機と目的

• 限られた深度データとRGBデータからのモダリティギャップに起因するRGB-Dシーン認識の課題を動機づける。
• RGBから深度へのモーダル間転送における下層の重要性を検討する。
• 弱教師付きのパッチベース事前学習と深度専用のCNNアーキテクチャを提案する。
• 深度とRGB特徴を共有空間で融合するエンドツーエンドのRGB-D-CNNを開発する。

提案手法

• トップ層とボトム層を対象とするファインチューニング戦略を比較し、深度転移には下位層が不可欠であることを示す。
• Places-CNNに依存せず、パッチ上の弱教師付き事前訓練(WSP)を導入して深度CNNを初期化する。
• パラメータ数を抑えるためカーネルを減らしたコンパクトな深度CNN(D-CNN)と3つのSPP（空間ピラミッドプーリング層）を提案する。
• RGBと深度特徴を共通空間へ射影する融合層を持つRGB-D-CNNを訓練し、エンドツーエンド学習を行う。
• SUN RGB-DとNYUD2で線形SVM（および加重SVM）を用いて評価し、アブレーションとRGBベースのベースラインとの比較を行う。

実験結果

リサーチクエスチョン

• RQ1 RGBから深度への転移学習は、下位層の表現を深度データへ効果的に適応させることができるか？
• RQ2 弱教師付きでゼロから深度専用CNNを訓練することは、RGBモデルを転送するよりも良い深度特徴を生み出すか？
• RQ3 RGB-D融合ネットワークを jointly trained すると、RGB単独ネットワークやDepth単独ネットワークと比べて性能はどうなるか？
• RQ4 限られたサンプル数の深度データに対して、有効なアーキテクチャ調整（カーネルサイズ、プーリング、SPP）は何か？

主な発見

• 深度データに対してトップ層のみのファインチューニングは効果が薄く、下位層のファインチューニングは大きな効果をもたらす。
• パッチベースの弱教師付きでゼロから深度モデルを訓練すると、全画像での訓練と比べて深度特徴が大幅に向上する。
• スケールされたカーネルとSPPを用いた提案のD-CNNは、深度のみの性能を高く達成し、Places-CNNベースの転移ベースラインを上回る。
• 融合ネットワークを持つ結合RGB-D-CNNは、SUN RGB-DとNYUD2でRGBと深度の個別パイプラインを上回る。
• 深度データから直接学習した深度特徴は、転送されたRGB特徴よりも識別性が高く、RGB特徴と補完的である。