[论文解读] Unsupervised Domain Adaptation Learning Algorithm for RGB-D Staircase Recognition

Jing Wang, Kuangen Zhang|arXiv (Cornell University)|Mar 4, 2019

Elevator Systems and Control参考文献 15被引用 10

一句话总结

本文提出一种使用深层卷积神经网络（CNN）的无监督域自适应（UDA）方法，该网络包含五个卷积层，旨在将来自标注的静态楼梯RGB-D数据集的知识迁移至未标注的自动扶梯数据集。该方法在源域上达到100%的准确率，在目标域上达到80.6%的准确率，展示了在辅助导航系统中针对RGB-D楼梯识别任务，使用有限标注数据时的有效适应能力。

ABSTRACT

Detection and recognition of staircase as upstairs, downstairs and negative (e.g., ladder) are the fundamental of assisting the visually impaired to travel independently in unfamiliar environments. Previous researches have focused on using massive amounts of RGB-D scene data to train traditional machine learning (ML) based models to detect and recognize the staircase. However, the performance of traditional ML techniques is limited by the amount of labeled RGB-D staircase data. In this paper, we apply an unsupervised domain adaptation approach in deep architectures to transfer knowledge learned from the labeled RGB-D stationary staircase dataset to the unlabeled RGB-D escalator dataset. By utilizing the domain adaptation method, our feedforward convolutional neural networks (CNN) based feature extractor with 5 convolution layers can achieve 100% classification accuracy on testing the labeled stationary staircase data and 80.6% classification accuracy on testing the unlabeled escalator data. We demonstrate the success of the approach for classifying staircase on two domains with a limited amount of data. To further demonstrate the effectiveness of the approach, we also validate the same CNN model without domain adaptation and compare its results with those of our proposed architecture.

研究动机与目标

• 解决辅助技术中楼梯识别任务因RGB-D标注数据有限而带来的挑战。
• 提升基于CNN的楼梯检测模型在数据分布不同的域之间（如静态楼梯与动态楼梯）的泛化能力。
• 通过无监督域自适应方法，实现从标注的源域（静态楼梯）到未标注的目标域（自动扶梯）的有效知识迁移。
• 在真实世界、未标注的RGB-D数据上，评估域自适应CNN模型的性能，且仅需极少的人工标注。

提出的方法

• 使用一个五层前馈卷积神经网络（CNN）作为RGB-D输入数据的特征提取器。
• 通过域不变特征学习策略实现域自适应，以对齐源域（静态楼梯）与目标域（自动扶梯）之间的特征分布。
• 利用源域的标注数据和目标域的未标注数据，端到端训练模型。
• 采用域对抗性训练组件，通过促使特征提取器生成域不变表示，以最小化域偏移。
• 在网络对齐域特征后，使用分类头预测楼梯类型（上楼、下楼、负样本）。
• 通过将域自适应模型与未使用域自适应的标准CNN在两个域上的表现进行对比，验证该方法。

实验结果

研究问题

• RQ1 无监督域自适应能否有效提升在无任何标注数据的目标域上RGB-D楼梯识别模型的性能？
• RQ2 当在自动扶梯数据上测试时，域自适应对基于CNN的静态楼梯训练模型的泛化能力有何影响？
• RQ3 在未标注的目标域上，使用域自适应相较于标准CNN在RGB-D楼梯识别中的性能增益如何？
• RQ4 域不变特征在真实世界环境中，对不同类型楼梯的分类准确率提升程度如何？

主要发现

• 所提出的域自适应CNN在标注的源域（静态楼梯）上实现了100%的分类准确率。
• 在未标注的目标域（自动扶梯）上，模型达到了80.6%的分类准确率，显著优于未使用域自适应的基线CNN。
• 消融实验确认，域自适应是提升零样本泛化能力至目标域的关键因素。
• 该方法通过对抗性特征对齐，有效减少了静态楼梯与动态楼梯数据之间的域偏移。
• 结果表明，无监督域自适应即使在标注数据有限的真实世界辅助视觉应用中，也能实现高性能识别。
• 该方法的成功凸显了域自适应在低资源真实场景中部署鲁棒视觉模型的潜力。