[论文解读] Modern Augmented Reality: Applications, Trends, and Future Directions

Shervin Minaee, Xiaodan Liang+1 more|arXiv (Cornell University)|Feb 18, 2022

Augmented Reality Applications被引用 11

一句话总结

本文对现代增强现实（AR）技术进行了全面综述，涵盖其在11个领域（从游戏和社交媒体到医疗保健和教育）的应用，并回顾了超过100个基于深度学习的AR系统。文章识别出关键挑战，如现实世界泛化能力、3D渲染的真实感以及隐私问题，同时提出了未来研究方向，包括透视AR、3D建模以及多感官AR系统。

ABSTRACT

Augmented reality (AR) is one of the relatively old, yet trending areas in the intersection of computer vision and computer graphics with numerous applications in several areas, from gaming and entertainment, to education and healthcare. Although it has been around for nearly fifty years, it has seen a lot of interest by the research community in the recent years, mainly because of the huge success of deep learning models for various computer vision and AR applications, which made creating new generations of AR technologies possible. This work tries to provide an overview of modern augmented reality, from both application-level and technical perspective. We first give an overview of main AR applications, grouped into more than ten categories. We then give an overview of around 100 recent promising machine learning based works developed for AR systems, such as deep learning works for AR shopping (clothing, makeup), AR based image filters (such as Snapchat's lenses), AR animations, and more. In the end we discuss about some of the current challenges in AR domain, and the future directions in this area.

研究动机与目标

• 为医疗保健、教育、零售和娱乐等多样化领域中的当前及新兴AR应用提供全面概览。
• 调查近期基于机器学习和深度学习的AR系统，特别是专注于实时、交互式AR体验的系统。
• 识别AR系统中的关键技术与伦理挑战，包括真实感、在非受控环境中的鲁棒性以及用户隐私。
• 概述推动AR技术发展的未来研究方向，包括3D建模、多感官输入（如触觉、嗅觉）以及远程协作AR。
• 通过整理公开基准、数据集和AR开发相关工具，为研究人员和实践者提供支持。

提出的方法

• 将AR应用划分为11个主要领域，包括社交媒体、医疗保健、汽车和教育，以描绘当前的发展格局。
• 调查100多个近期用于AR的机器学习与深度学习模型，重点关注虚拟试穿（服装、化妆）、图像滤镜和3D动画等任务。
• 分析AR系统的技术组件，包括头戴式显示器、传感器以及ARKit、ARCore和Lens Studio等平台。
• 通过客观指标和主观用户感知双重方式评估AR系统，强调真实感与用户体验。
• 基于识别出的技术空白，提出未来研究方向，例如提升在非受控环境（“野外”）中的泛化能力。
• 强调公开数据集与基准在推动AR研究中的作用，尤其在人脸分割、3D重建和手势识别等任务中。

实验结果

研究问题

• RQ1 如何使AR系统在具有动态光照、遮挡和杂乱场景的复杂现实环境中具备更强的鲁棒性与真实感？
• RQ2 在虚拟化妆或服装试穿等实时AR应用中，哪些深度学习架构与训练策略最为有效？
• RQ3 AR系统如何在人体与具有精细纹理及动态形变的服装上实现更高水平的3D渲染真实感？
• RQ4 AR系统中的主要隐私与安全风险是什么？如何通过模型设计与数据保护措施加以缓解？
• RQ5 如何将AR扩展至视觉与深度感知之外，整合触觉、嗅觉与味觉反馈，以实现沉浸式的多感官体验？

主要发现

• 已开发出超过100个近期基于深度学习的AR系统，应用于虚拟试穿、图像滤镜和3D动画等任务，显著提升了实时性能与真实感。
• 针对关键AR任务（如人脸分割、服装分割和3D人体重建）存在公开数据集，支持可复现的研究与基准测试。
• 当前AR模型在非受控环境中常因背景复杂性、遮挡和光照变化而失效，凸显了对更具鲁棒性的‘野外’训练数据的需求。
• 透视AR体验对伪影（如错位、分割效果差或光照不一致）极为敏感，这些伪影会降低用户感知与沉浸感。
• 未来AR系统预计将整合多模态感官反馈（如触觉、嗅觉）以及先进可穿戴设备，如智能隐形眼镜或微LED显示器。
• 远程协作AR虽具前景但尚处于发展初期，需要能够理解空间上下文、手势以及跨分布式用户的共享注意力的模型。