[논문 리뷰] Modern Augmented Reality: Applications, Trends, and Future Directions

Shervin Minaee, Xiaodan Liang외 1명|arXiv (Cornell University)|2022. 02. 18.

Augmented Reality Applications인용 수 11

한 줄 요약

이 논문은 현대 증강현실(AR)에 대한 종합적인 서베이를 제공하며, 게임 및 소셜 미디어에서 헬스케어와 교육에 이르기까지 11개 분야에 걸친 응용 사례를 다루고, 100개 이상의 딥러닝 기반 AR 시스템을 검토한다. 실세계 일반화, 3차원 렌더링의 현실성, 개인정보 보호 등의 주요 과제를 규명하면서도 투과형 AR, 3차원 모델링, 다감각 AR 시스템 등의 향후 연구 방향을 제안한다.

ABSTRACT

Augmented reality (AR) is one of the relatively old, yet trending areas in the intersection of computer vision and computer graphics with numerous applications in several areas, from gaming and entertainment, to education and healthcare. Although it has been around for nearly fifty years, it has seen a lot of interest by the research community in the recent years, mainly because of the huge success of deep learning models for various computer vision and AR applications, which made creating new generations of AR technologies possible. This work tries to provide an overview of modern augmented reality, from both application-level and technical perspective. We first give an overview of main AR applications, grouped into more than ten categories. We then give an overview of around 100 recent promising machine learning based works developed for AR systems, such as deep learning works for AR shopping (clothing, makeup), AR based image filters (such as Snapchat's lenses), AR animations, and more. In the end we discuss about some of the current challenges in AR domain, and the future directions in this area.

연구 동기 및 목표

• 의료, 교육, 리테일, 엔터테인먼트 등 다양한 분야에서 현재와 미래의 AR 응용 사례에 대한 통합적 개요를 제공하기 위해.
• 특히 실시간으로 상호작용 가능한 AR 경험에 중점을 둔 최근의 기계학습 및 딥러닝 기반 AR 시스템을 조사하기 위해.
• 실현성, 비제어 환경에서의 견고성, 사용자 개인정보 보호 등의 기술적 및 윤리적 과제를 식별하기 위해.
• 3차원 모델링, 다감각 입력(예: 촉각, 냄새), 원격 협업형 AR 등을 포함한 AR 기술의 향후 발전 방향을 제시하기 위해.
• 연구자와 실무자들이 AR 개발에 관련된 공개 벤치마크, 데이터셋, 도구를 종합적으로 제공함으로써 지원하기 위해.

제안 방법

• 소셜 미디어, 헬스케어, 자동차, 교육 등 11개 주요 분야로 AR 응용 사례를 분류하여 현재의 생태계를 맵핑하기 위해.
• 가상 시도(의복, 메이크업), 이미지 필터링, 3차원 애니메이션 등의 작업에 중점을 두고, AR을 위한 최근 100개 이상의 기계학습 및 딥러닝 모델을 조사하기 위해.
• 헤드마운트 디스플레이, 센서, ARKit, ARCore, Lens Studio 등의 플랫폼을 포함한 AR 시스템의 기술적 구성 요소를 분석하기 위해.
• 객관적 지표와 주관적 사용자 인식을 모두 평가하여 현실성과 사용자 경험에 중점을 두고 AR 시스템을 평가하기 위해.
• 비제어 환경(‘자연계’)에서의 일반화 개선이 필요한 기술적 격차를 기반으로 향후 연구 방향을 제안하기 위해.
• 특히 얼굴 분할, 3차원 재구성, 제스처 인식 등의 작업에 있어, 공개 데이터셋과 벤치마크가 AR 연구 발전에 기여하는 역할을 강조하기 위해.

실험 결과

연구 질문

• RQ1 다이나믹한 조명, 가림, 혼잡한 환경이 존재하는 복잡한 실세계 환경에서 AR 시스템을 어떻게 더 견고하고 현실적으로 만들 수 있는가?
• RQ2 가상 메이크업이나 의복 시도와 같은 실시간 AR 응용에 가장 효과적인 딥러닝 아키텍처와 학습 전략은 무엇인가?
• RQ3 인간의 몸과 세밀한 질감 및 동적 변형을 가진 의복에 대해 3차원 렌더링의 현실성을 어떻게 향상시킬 수 있는가?
• RQ4 AR 시스템에서 주요 개인정보 및 보안 위험 요소는 무엇이며, 모델 설계와 데이터 보호를 통해 어떻게 이를 완화할 수 있는가?
• RQ5 시각적 및 깊이 감지 외에도 촉각, 후각, 미각 피드백을 포함하여 몰입감 있는 다감각 경험을 위한 AR을 어떻게 확장할 수 있는가?

주요 결과

• 가상 시도, 이미지 필터링, 3차원 애니메이션 등의 응용 분야를 위해 100개 이상의 최근 딥러닝 기반 AR 시스템이 개발되어 실시간 성능과 현실성 향상에 상당한 진전을 보였다.
• 얼굴 분할, 의복 분할, 3차원 인간 재구성 등의 핵심 AR 작업을 위한 공개 데이터셋이 존재하여 재현 가능하고 기준을 갖춘 연구 및 평가를 지원한다.
• 현재의 AR 모델은 배경의 복잡성, 가림, 조도 변화 등의 이유로 비제어 환경에서 성능에 실패하는 경우가 많아, 더 견고한 자연계 훈련 데이터가 필요하다는 점을 시사한다.
• 투과형 AR 경험은 정렬 오류, 낮은 분할 정확도, 일관되지 않은 조명 등 아티팩트에 매우 민감하여 사용자 인식과 몰입감을 떨어뜨린다.
• 향후 AR 시스템은 다중 모odal 감각 피드백(예: 촉각, 냄새)과 스마트 콘택트 렌즈, 마이크로-LED 디스플레이 등의 고도로 통합된 신체 착용형 기기와 통합될 것으로 기대된다.
• 원격 협업형 AR는 유망하지만 아직 개발이 부족한 분야이며, 분산된 사용자 간의 공간적 맥락, 제스처, 공유된 주의를 이해할 수 있는 모델이 필요로 한다.