[论文解读] Centroid Based Concept Learning for RGB-D Indoor Scene Classification

Ali Ayub, Alan R. Wagner|arXiv (Cornell University)|Nov 1, 2019

Advanced Image and Video Retrieval Techniques参考文献 38被引用 13

一句话总结

本文提出了一种基于质心的概念学习方法（CBCL），这是一种受认知启发的RGB-D室内场景分类方法，通过Agg-Var聚类从RGB-D特征中生成特定于场景的质心。通过根据测试图像与最近质心的距离进行分类，CBCL在合并语义上相似的类别后，在SUN RGB-D数据集（66.2%）和NYU Depth V2数据集（78.95%）上实现了最先进（SOTA）的准确率，性能进一步提升了高达6.7%。

ABSTRACT

This paper contributes a novel cognitively-inspired method for RGB-D indoor scene classification. High intra-class variance and low inter-class variance make indoor scene classification an extremely challenging task. To cope with this problem, we propose a clustering approach inspired by the concept learning model of the hippocampus and the neocortex, to generate clusters and centroids for different scene categories. Test images depicting different scenes are classified by using their distance to the closest centroids (concepts). Modeling of RGB-D scenes as centroids not only leads to state-of-the-art classification performance on benchmark datasets (SUN RGB-D and NYU Depth V2), but also offers a method for inspecting and interpreting the space of centroids. Inspection of the centroids generated by our approach on RGB-D datasets leads us to propose a method for merging conceptually similar categories, resulting in improved accuracy for all approaches.

研究动机与目标

• 解决室内场景分类中类内方差高、类间方差低的挑战。
• 开发一种受认知启发的方法，模拟海马体和新皮层的概念学习机制，以提升场景理解能力。
• 通过分析聚类结构并识别语义上相似的类别，实现模型的可解释性和自我评估。
• 通过数据驱动的方式合并语义上相似的场景类别，无需依赖外部监督，从而提升分类准确率。
• 提供一种轻量化、快速的替代方案，相较于深度学习模型具有更短的训练时间与更高的泛化潜力。

提出的方法

• 对RGB-D特征图应用Agg-Var聚类，生成代表不同布局与配置的特定于场景的质心。
• 通过计算测试图像与最近质心的L2距离进行分类，使用最近的概念进行预测。
• 利用轮廓系数评估聚类内部的一致性，并检测那些与另一聚类质心距离更近的图像。
• 基于轮廓系数≤0的图像比例较高，识别并合并语义上相似的场景类别（如教室与讲堂）。
• 对视觉和结构上相似的类别进行递归合并，以提升整体分类准确率。
• 将该方法应用于SUN RGB-D和NYU Depth V2数据集，在类别合并后重新评估性能。

实验结果

研究问题

• RQ1 基于质心表示的受认知启发的聚类方法，是否能在RGB-D室内场景分类中超越现有方法？
• RQ2 内部聚类评估指标（如轮廓系数）在识别语义上相似的场景类别方面，其指导作用有多大？
• RQ3 基于聚类结构合并语义上相似的类别，是否能带来可测量的分类准确率提升？
• RQ4 该方法是否可推广至其他视觉任务，如增量学习或概念泛化？
• RQ5 类别合并带来的性能提升，是源于类别数量的减少，还是源于标签概念一致性的提升？

主要发现

• 在合并四对语义上相似的类别后，CBCL在SUN RGB-D数据集上实现了66.2%的最先进（SOTA）平均类别准确率。
• 6.7%的准确率提升显著高于随机合并类别时观察到的0.4%提升，表明性能增益源于有意义的语义合并。
• 在NYU Depth V2数据集上，CBCL实现了78.95%的平均类别准确率，相较于原始数据集提升了8.04%。
• VGG基线模型在合并后的SUN RGB-D数据集上也提升了5.4%（达到55.2%），但仍比CBCL低11%，证明了CBCL的优越性能。
• 该方法支持无监督的模型自检，揭示了在某些类别中高达25%的训练图像轮廓系数≤0，表明聚类分配质量较差。
• 类别合并过程是数据驱动且可解释的，为纠正潜在错误或不一致的数据集标注提供了有效机制。