[论文解读] When CNNs Meet Random RNNs: Towards Multi-Level Analysis for RGB-D Object and Scene Recognition

Ali Çağlayan, Nevrez İmamoğlu+2 more|arXiv (Cornell University)|Apr 26, 2020

Advanced Image and Video Retrieval Techniques被引用 5

一句话总结

该论文提出了一种多层级特征融合框架，将预训练的CNN与随机RNN结合，用于RGB-D物体和场景识别。通过从多个CNN层（AlexNet、VGGNet、ResNet、DenseNet）提取特征，并利用SVM置信度平均进行融合，该方法在Washington RGB-D数据集上实现了最先进性能，其中ResNet-101和DenseNet-121模型分别达到92.8%和93.2%的准确率，优于仅使用CNN特征和单层级融合策略的方法。

ABSTRACT

Recognizing objects and scenes are two challenging but essential tasks in image understanding. In particular, the use of RGB-D sensors in handling these tasks has emerged as an important area of focus for better visual understanding. Meanwhile, deep neural networks, specifically convolutional neural networks (CNNs), have become widespread and have been applied to many visual tasks by replacing hand-crafted features with effective deep features. However, it is an open problem how to exploit deep features from a multi-layer CNN model effectively. In this paper, we propose a novel two-stage framework that extracts discriminative feature representations from multi-modal RGB-D images for object and scene recognition tasks. In the first stage, a pretrained CNN model has been employed as a backbone to extract visual features at multiple levels. The second stage maps these features into high level representations with a fully randomized structure of recursive neural networks (RNNs) efficiently. To cope with the high dimensionality of CNN activations, a random weighted pooling scheme has been proposed by extending the idea of randomness in RNNs. Multi-modal fusion has been performed through a soft voting approach by computing weights based on individual recognition confidences (i.e. SVM scores) of RGB and depth streams separately. This produces consistent class label estimation in final RGB-D classification performance. Extensive experiments verify that fully randomized structure in RNN stage encodes CNN activations to discriminative solid features successfully. Comparative experimental results on the popular Washington RGB-D Object and SUN RGB-D Scene datasets show that the proposed approach achieves superior or on-par performance compared to state-of-the-art methods both in object and scene recognition tasks. Code is available at https://github.com/acaglayan/CNN_randRNN.

研究动机与目标

• 通过结合预训练CNN的多层级特征与随机RNN，提升RGB-D物体和场景识别性能。
• 探究多层级特征融合相较于单层级或拼接式融合的有效性。
• 评估在深度数据上微调CNN所带来的性能增益，并与仅使用CNN语义特征的方法进行比较。
• 分析在所提框架中不同主干模型的计算成本与内存开销。

提出的方法

• 通过双线性插值对RGB图像进行224×224大小的缩放，对深度图使用最近邻插值，并进行z分数标准化。
• 基于表面法线的颜色化方法，将从深度图和相机内参计算出的3D点云转换为类似RGB的表示。
• 从多个预训练CNN主干网络（AlexNet、VGGNet-16、ResNet-50/101、DenseNet-121）的七个层级中，分别提取RGB和深度模态的特征。
• 使用随机RNN在不训练的前提下建模多层级特征之间的时序依赖关系，以保持计算效率。
• 采用两种融合策略：特征拼接与基于各层级SVM置信度分数的平均投票。
• 在融合后的特征上训练线性SVM进行分类，性能在Washington RGB-D数据集的10次训练/测试划分中进行评估。

实验结果

研究问题

• RQ1 与单层级或拼接式融合相比，使用随机RNN的多层级特征融合在识别准确率上有何提升？
• RQ2 在RGB-D识别中，最优的特征层级组合与融合策略（拼接 vs. 置信度平均）是什么？
• RQ3 在深度数据上微调CNN对性能有何影响，相较于使用预训练特征？
• RQ4 在所提框架中，使用更深或更宽的CNN主干网络在计算与内存方面存在何种权衡？

主要发现

• 在表现最佳的三个层级（LB1、LB2、LB3）的SVM置信度分数上进行平均投票，可获得最高准确率，ResNet-101达到92.3%，DenseNet-121达到93.2%。
• 超过三个层级的融合并未持续提升性能，对ResNet-101和DenseNet-121而言，最优结果均在三个层级时达成。
• 所提方法结合随机RNN与多层级融合，优于仅使用CNN语义特征：DenseNet-121在融合方法下达到93.2%，与CNN-only特征准确率相同，但RNN融合方法展现出更优的泛化性与鲁棒性。
• 当在顶层特征上使用SVM置信度平均时，ResNet-101和DenseNet-121在RGB-D数据集上分别达到最高准确率（92.8%和93.2%）。
• 计算成本主要由CPU上的SVM训练主导，ResNet-101整体处理耗时约59分钟（包含RNN与分类阶段），而DenseNet-121是内存消耗最高的模型，峰值内存使用达13.3 GB。
• 仅使用最后一层（L7）微调后的CNN特征，准确率分别为89.0%（AlexNet）、88.8%（DenseNet-121）和89.0%（ResNet-101），但低于多层级RNN融合特征的性能。