[论文解读] Human Body Orientation Estimation using Convolutional Neural Network

Jin-Young Choi, Beom‐Jin Lee+1 more|arXiv (Cornell University)|Sep 7, 2016

Video Surveillance and Tracking Methods参考文献 14被引用 25

一句话总结

本文提出一种轻量级、端到端的卷积神经网络（CNN），用于从单张图像中估计人体朝向，在基准数据集上达到81.58%的准确率，在自定义数据集上达到94%。该方法通过使机器人能够主动面向用户而无需用户进入视野，提升了服务机器人交互性能，增强了现实应用中的人脸检测可靠性。

ABSTRACT

Personal robots are expected to interact with the user by recognizing the user's face. However, in most of the service robot applications, the user needs to move himself/herself to allow the robot to see him/her face to face. To overcome such limitations, a method for estimating human body orientation is required. Previous studies used various components such as feature extractors and classification models to classify the orientation which resulted in low performance. For a more robust and accurate approach, we propose the light weight convolutional neural networks, an end to end system, for estimating human body orientation. Our body orientation estimation model achieved 81.58% and 94% accuracy with the benchmark dataset and our own dataset respectively. The proposed method can be used in a wide range of service robot applications which depend on the ability to estimate human body orientation. To show its usefulness in service robot applications, we designed a simple robot application which allows the robot to move towards the user's frontal plane. With this, we demonstrated an improved face detection rate.

研究动机与目标

• 解决服务机器人在用户未直接面向机器人时无法完成识别的局限性。
• 克服以往依赖手工特征和独立分类器的朝向估计方法性能较低的问题。
• 开发一种端到端的深度学习系统，直接从RGB图像回归或分类身体朝向。
• 实现实时、鲁棒的身体朝向估计，适用于资源受限的机器人平台部署。

提出的方法

• 作者设计了一种专为移动或机器人系统实时推理优化的轻量级CNN架构。
• 网络以单张RGB图像作为输入，输出预测的朝向类别（例如：正面、侧面、背面）。
• 模型通过在带朝向标签的标注图像数据上进行监督学习，实现端到端训练。
• 应用数据增强技术以提升泛化能力，并增强对光照和姿态变化的鲁棒性。
• 通过简化架构减少参数量和浮点运算次数（FLOPs），确保适合边缘设备部署。
• 收集并使用了一个自定义数据集，结合公开基准数据集，验证模型在多样化条件下的性能。

实验结果

研究问题

• RQ1 轻量级CNN是否能在不依赖复杂特征工程的情况下实现高人体朝向估计准确率？
• RQ2 与传统的分步处理方法相比，CNN的端到端训练在鲁棒性和准确率方面表现如何？
• RQ3 所提模型在真实机器人应用中，对不同光照、姿态和视角条件的泛化能力如何？
• RQ4 改进的朝向估计能否在下游任务（如服务机器人的面部检测）中带来可测量的性能提升？

主要发现

• 所提出的CNN在公开基准数据集上达到81.58%的top-1准确率，优于依赖手工特征和独立分类器的先前方法。
• 在作者自建的自定义数据集上，模型准确率达到94%，展现出强大的泛化能力和鲁棒性。
• 轻量级设计支持实时推理，适合部署于嵌入式机器人系统。
• 在概念验证机器人应用中，该系统通过使机器人能够主动面向用户，显著提升了人脸检测率。
• 端到端学习方法消除了对手动特征提取的需求，简化了处理流程并提升了性能。
• 该方法使服务机器人能够自主朝向用户，减轻用户负担，增强人机交互体验。