[論文レビュー] When CNNs Meet Random RNNs: Towards Multi-Level Analysis for RGB-D Object and Scene Recognition

Ali Çağlayan, Nevrez İmamoğlu+2 more|arXiv (Cornell University)|Apr 26, 2020

Advanced Image and Video Retrieval Techniques被引用数 5

ひとこと要約

本論文は、事前学習済みCNNとランダムRNNを組み合わせたマルチレベル特徴融合フレームワークを提案し、RGB-Dオブジェクトおよびシーン認識に応用する。複数の層（AlexNet、VGGNet、ResNet、DenseNet）からの特徴抽出と、SVMの信頼度平均化による特徴融合により、ワシントンRGB-Dデータセットで最先端の性能を達成。ResNet-101とDenseNet-121モデルはそれぞれ92.8%および93.2%の精度を達成し、CNNのみの特徴や単一レベルの特徴融合戦略を上回る性能を示した。

ABSTRACT

Recognizing objects and scenes are two challenging but essential tasks in image understanding. In particular, the use of RGB-D sensors in handling these tasks has emerged as an important area of focus for better visual understanding. Meanwhile, deep neural networks, specifically convolutional neural networks (CNNs), have become widespread and have been applied to many visual tasks by replacing hand-crafted features with effective deep features. However, it is an open problem how to exploit deep features from a multi-layer CNN model effectively. In this paper, we propose a novel two-stage framework that extracts discriminative feature representations from multi-modal RGB-D images for object and scene recognition tasks. In the first stage, a pretrained CNN model has been employed as a backbone to extract visual features at multiple levels. The second stage maps these features into high level representations with a fully randomized structure of recursive neural networks (RNNs) efficiently. To cope with the high dimensionality of CNN activations, a random weighted pooling scheme has been proposed by extending the idea of randomness in RNNs. Multi-modal fusion has been performed through a soft voting approach by computing weights based on individual recognition confidences (i.e. SVM scores) of RGB and depth streams separately. This produces consistent class label estimation in final RGB-D classification performance. Extensive experiments verify that fully randomized structure in RNN stage encodes CNN activations to discriminative solid features successfully. Comparative experimental results on the popular Washington RGB-D Object and SUN RGB-D Scene datasets show that the proposed approach achieves superior or on-par performance compared to state-of-the-art methods both in object and scene recognition tasks. Code is available at https://github.com/acaglayan/CNN_randRNN.

研究の動機と目的

• 事前学習済みCNNのマルチレベル特徴とランダムRNNを組み合わせることで、RGB-Dオブジェクトおよびシーン認識の性能を向上させること。
• 単一レベルまたは連結ベースの特徴融合と比較して、マルチレベル特徴融合の有効性を検証すること。
• 深度データ上でCNNを微調整することによる性能向上を評価し、CNNのみのセマンティック特徴と比較すること。
• 提案フレームワークにおける異なるバックボーンモデルの計算コストとメモリオーバーヘッドを分析すること。

提案手法

• RGBと深度データを、RGBには双線形補間、深度には最近傍補間を用いて224×224にリサイズし、zスコア正規化を実施する。
• 深度マップから得られる3次元点群とカメラ内部パrameterを用いて、表面法線に基づくカラーリングにより、深度マップをRGBに類似した表現に変換する。
• RGBおよび深度モダリティの両方に対して、複数の事前学習済みCNNバックボーン（AlexNet、VGGNet-16、ResNet-50/101、DenseNet-121）の7段階の特徴を抽出する。
• トレーニングを伴わないランダムRNNを用いて、マルチレベル特徴間の時系列的依存関係をモデル化し、計算効率を維持する。
• 2つの統合戦略（特徴の連結と、個々の段階からのSVM信頼度スコアに基づく平均投票）を用いて特徴を統合する。
• 分類のため、統合された特徴上で線形SVMを学習し、ワシントンRGB-Dデータセットの10通りのトレーニング/テスト分割を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ランダムRNNを用いたマルチレベル特徴統合は、単一レベルまたは連結ベースの統合と比較して、認識精度をどのように向上させるか？
• RQ2 RGB-D認識において、最適な特徴段階の組み合わせと統合戦略（連結対信頼度平均化）は何か？
• RQ3 深度データ上でCNNを微調整することは、事前学習済み特徴と比較して性能にどのように影響するか？
• RQ4 提案フレームワークにおける、より深くまたは広いCNNバックボーンを使用する際の計算コストとメモリのトレードオフは何か？

主な発見

• 上位3つの性能が良い段階（LB1、LB2、LB3）のSVM信頼度スコアの平均投票により、最高の精度が得られ、ResNet-101では92.3%、DenseNet-121では93.2%のRGB-D認識精度を達成した。
• 3段階を超える特徴の統合は一貫した性能向上をもたらさず、ResNet-101およびDenseNet-121では3段階が最適な結果をもたらした。
• ランダムRNNとマルチレベル統合を用いた本手法は、CNNのみのセマンティック特徴を上回る。DenseNet-121では、統合特徴とCNNのみの特徴で93.2%の精度を達成したが、RNNベースの統合はより優れた一般化性能とロバストネスを示した。
• SVM信頼度平均化を上位段階特徴に適用した場合、ResNet-101とDenseNet-121はそれぞれ92.8%および93.2%の最高精度を達成した。
• 計算コストは主にCPU上でのSVM学習に起因し、ResNet-101では全体処理（RNNおよび分類ステージ含む）に約59分を要した。一方、DenseNet-121は13.3 GBのピークメモリ使用量を示し、最もメモリ集約的であった。
• 最終層（L7）の微調整済みCNNのみの特徴では、AlexNetが89.0%、DenseNet-121が88.8%、ResNet-101が89.0%の精度を達成したが、マルチレベルRNN統合特徴に劣った。