[论文解读] Indoor Space Recognition using Deep Convolutional Neural Network: A Case Study at MIT Campus

Fan Zhang, Fábio Duarte+4 more|arXiv (Cornell University)|Oct 7, 2016

Video Surveillance and Tracking Methods参考文献 18被引用 15

一句话总结

本文提出一种基于深度卷积神经网络（DCNN）的方法，仅使用单张智能手机照片即可实现室内空间识别，训练数据来自麻省理工学院校园建筑的六十余万张图像。该方法在空间尺度固定模型下达到81.7%的测试准确率，并利用类激活映射（CAM）解释判别性视觉特征，为空间感知与设计提供洞见。

ABSTRACT

In this paper, we propose a robust and parsimonious approach using Deep Convolutional Neural Network (DCNN) to recognize and interpret interior space. DCNN has achieved incredible success in object and scene recognition. In this study we design and train a DCNN to classify a pre-zoning indoor space, and from a single phone photo to recognize the learned space features, with no need of additional assistive technology. We collect more than 600,000 images inside MIT campus buildings to train our DCNN model, and achieved 97.9% accuracy in validation dataset and 81.7% accuracy in test dataset based on spatial-scale fixed model. Furthermore, the recognition accuracy and spatial resolution can be potentially improved through multiscale classification model. We identify the discriminative image regions through Class Activating Mapping (CAM) technique, to observe the model's behavior in how to recognize space and interpret it in an abstract way. By evaluating the results with misclassification matrix, we investigate the visual spatial feature of interior space by looking into its visual similarity and visual distinctiveness, giving insights into interior design and human indoor perception and wayfinding research. The contribution of this paper is threefold. First, we propose a robust and parsimonious approach for indoor navigation using DCNN. Second, we demonstrate that DCNN also has a potential capability in space feature learning and recognition, even under severe appearance changes. Third, we introduce a DCNN based approach to look into the visual similarity and visual distinctiveness of interior space.

研究动机与目标

• 开发一种仅依赖智能手机图像且无需外部传感器的鲁棒、低成本室内空间识别系统。
• 探究深度学习是否能有效学习并分类复杂室内空间特征，即使在外观差异较大的情况下。
• 利用深度学习可解释性技术分析室内环境中视觉空间的相似性与独特性。
• 通过计算机视觉提供一种数据驱动的方法，以理解人类导航行为与室内设计感知。

提出的方法

• 在来自麻省理工学院校园建筑的六十余万张室内图像大规模数据集上训练深度卷积神经网络（DCNN）。
• 模型采用空间尺度固定的架构进行分类，可仅通过单张智能手机照片进行推理，无需额外硬件。
• 应用类激活映射（CAM）可视化并解释模型用于识别的判别性图像区域。
• 探索多尺度分类模型作为提升识别准确率与空间分辨率的潜在方法。
• 通过验证集（准确率97.9%）和独立测试集（准确率81.7%）对模型进行评估，并使用误分类矩阵分析视觉相似性与独特性。
• 通过分析误分类中的模式，开展视觉特征研究，将模型行为与人类对空间布局及设计的感知联系起来。

实验结果

研究问题

• RQ1 仅使用单张智能手机照片，无需额外传感器或元数据，深度卷积神经网络能否准确识别室内空间？
• RQ2 布局、照明和装饰等视觉空间特征在多大程度上影响模型区分不同室内环境的能力？
• RQ3 室内空间之间的视觉相似性与独特性在多大程度上影响模型的分类性能？
• RQ4 类激活映射（CAM）如何用于解释和验证模型在空间识别中的决策过程？
• RQ5 从模型的误分类模式中，可以得出关于人类对室内环境感知的哪些洞见？

主要发现

• DCNN在空间尺度固定模型下，验证准确率达到97.9%，测试准确率达到81.7%，表明其在未见室内空间上具有强大的泛化能力。
• 模型成功学习到基于视觉线索（如建筑布局、家具和照明）识别空间的能力，即使在显著的外观变化下依然有效。
• 类激活映射（CAM）显示，模型在进行分类决策时，聚焦于语义上有意义的区域，如门框、走廊和具有特征的家具。
• 误分类分析表明，视觉上相似的空间（如外观相似的走廊或办公室）常被混淆，表明视觉相似性强烈影响识别性能。
• 本研究证明，深度学习能够从原始图像中有效学习抽象的空间表征，为导航与室内设计研究提供新工具。
• 识别出通过多尺度分类模型可进一步提升准确率与分辨率，表明未来具备可扩展性与优化潜力。