[論文レビュー] Modern Augmented Reality: Applications, Trends, and Future Directions

Shervin Minaee, Xiaodan Liang+1 more|arXiv (Cornell University)|Feb 18, 2022

Augmented Reality Applications被引用数 11

ひとこと要約

本論文は、ゲームやソーシャルメディアから医療や教育に至る11の分野にわたる応用をカバーする、現代の拡張現実（AR）の包括的サーベイを提供している。100以上のディープラーニングベースのARシステムについてもレビューしている。実世界への一般化、3Dレンダリングの現実性、プライバシーといった主な課題を特定するとともに、透過AR、3Dモデリング、マルチセンサリARシステムといった今後の研究分野を提案している。

ABSTRACT

Augmented reality (AR) is one of the relatively old, yet trending areas in the intersection of computer vision and computer graphics with numerous applications in several areas, from gaming and entertainment, to education and healthcare. Although it has been around for nearly fifty years, it has seen a lot of interest by the research community in the recent years, mainly because of the huge success of deep learning models for various computer vision and AR applications, which made creating new generations of AR technologies possible. This work tries to provide an overview of modern augmented reality, from both application-level and technical perspective. We first give an overview of main AR applications, grouped into more than ten categories. We then give an overview of around 100 recent promising machine learning based works developed for AR systems, such as deep learning works for AR shopping (clothing, makeup), AR based image filters (such as Snapchat's lenses), AR animations, and more. In the end we discuss about some of the current challenges in AR domain, and the future directions in this area.

研究の動機と目的

• 医療、教育、小売、エンターテインメントなど、多様な分野における現在および将来のAR応用を包括的に概説すること。
• 特にリアルタイムでインタラクティブなAR体験に焦点を当てた、最近の機械学習およびディープラーニングベースのARシステムを調査すること。
• ARシステムにおける現実性、制御不能な環境での頑健性、ユーザーのプライバシーといった、技術的および倫理的な課題を特定すること。
• 3Dモデリング、マルチセンサリ入力（例：触覚、臭覚）、リモート協働ARといった、AR技術の発展に向けた今後の研究分野を提示すること。
• AR開発に役立つ公開ベンチマーク、データセット、ツールを整理して、研究者および実務家を支援すること。

提案手法

• ソーシャルメディア、医療、自動車、教育などを含む11の主要分野にARアプリケーションを分類し、現在の状況をマップすること。
• バーチャルトライオン（衣料品、メイク）や画像フィルタリング、3Dアニメーションなどのタスクに焦点を当て、100以上の最近の機械学習およびディープラーニングモデルを調査すること。
• ヘッドマウントディスプレイ、センサ、ARKit、ARCore、Lens Studioなどのプラットフォームを含むARシステムの技術的構成要素を分析すること。
• 客観的指標と被験者の主観的評価の両方を用いてARシステムを評価し、現実性とユーザーエクスペリエンスに重点を置くこと。
• 制御不能（「野生の状態」）環境での一般化を向上させるために、技術的ギャップを特定し、今後の研究分野を提案すること。
• 特に顔分類、3D再構築、ジェスチャー認識などのタスクにおいて、公開データセットおよびベンチマークがAR研究の前進に果たす役割を強調すること。

実験結果

リサーチクエスチョン

• RQ1 動的な照明、隠蔽、ごみだらけのシーンを伴う複雑な現実世界環境において、ARシステムをどのようにして頑健かつ現実的にすることができるか？
• RQ2 バーチャルメイクや衣料品のトライアルのようなリアルタイムARアプリケーションに最も効果的なディープラーニングアーキテクチャとトレーニング戦略は何か？
• RQ3 肌の細かいテクスチャや動的な変形を伴う人体や衣料品のレンダリングにおいて、ARシステムがどのようにしてより高い現実性を実現できるか？
• RQ4 ARシステムにおける主なプライバシーおよびセキュリティリスクは何か、そしてモデル設計とデータ保護によってどのように緩和できるか？
• RQ5 視覚的および距離センシングを超えて、触覚、臭覚、味覚フィードバックを統合することで、没入型マルチセンサリ体験をどのように実現できるか？

主な発見

• バーチャルトライオン、画像フィルタリング、3Dアニメーションなどの応用を対象とした、100以上の最近のディープラーニングベースのARシステムが開発されており、リアルタイム性能と現実性の面で顕著な進展が見られた。
• 顔分類、衣料品分類、3D人体再構築といった重要なARタスクのための公開データセットが存在し、再現可能な研究とベンチマークを支援している。
• 現在のARモデルは、背景の複雑さ、隠蔽、照明の変動のため、制御不能な環境ではしばしば失敗するため、より頑健な「野生の状態」でのトレーニングデータの必要性が浮き彫りになった。
• 透過AR体験は、ずれ、不適切な分類、一貫性のない照明といったアーティファクトに極めて敏感であり、これがユーザーパerceptionと没入感を損なう。
• 今後のARシステムは、マルチモodalな感覚フィードバック（例：触覚、臭覚）と、スマートコンタクトレンズやマイクロLEDディスプレイのような高度なボディウォーディングデバイスを統合することが期待される。
• リモート協働ARは有望ではあるが、未だ発展途上であり、分散ユーザー間での空間的文脈、ジェスチャー、共有注意を理解できるモデルの開発が求められている。