[論文レビュー] Here To Stay: Measuring Hologram Stability in Markerless Smartphone Augmented Reality

Tim Scargill, Jiasi Chen+1 more|arXiv (Cornell University)|Sep 29, 2021

Augmented Reality Applications被引用数 7

ひとこと要約

本稿では、マーカーレススマートフォンARにおけるホログラムの位置ずれと再ロケーション時間の定量的測定を目的としたオープンソースアプリHoloMeasureを提案する。ARKitやARCoreなどのVI-SLAMベースのプラットフォームを用い、200以上の屋内環境で不安定性を評価した結果、一般的なユーザーの動きにおいて顕著なずれ（通常5cm以上）が生じることが判明し、安定なAR体験に向けた現在のポーズ追跡の重大な限界が浮き彫りになった。

ABSTRACT

Markerless augmented reality (AR) has the potential to provide engaging experiences and improve outcomes across a wide variety of industries; the overlaying of virtual content, or holograms, onto a view of the real world without the need for predefined markers provides great convenience and flexibility. However, unwanted hologram movement frequently occurs in markerless smartphone AR due to challenging visual conditions or device movement, and resulting error in device pose tracking. We develop a method for measuring hologram positional errors on commercial smartphone markerless AR platforms, implement it as an open-source AR app, HoloMeasure, and use the app to conduct systematic quantitative characterizations of hologram stability across 6 different user actions, 3 different smartphone models, and over 200 different environments. Our study demonstrates significant levels of spatial instability in holograms in all but the simplest settings, and underscores the need for further enhancements to pose tracking algorithms for smartphone-based markerless AR.

研究の動機と目的

• 実世界の条件下でマーカーレススマートフォンARホログラムの空間的不安定性を体系的かつ定量的に測定すること。
• デバイスの移動や環境要因がホログラムのずれや再ロケーション時間に与える影響を特定すること。
• 多様な環境で再現可能かつ定量的なAR安定性評価が可能なツール（HoloMeasure）の開発とオープンソース化すること。
• 現在のスマートフォンARプラットフォームが非理想的な環境下で顕著な不安定性を示すことを実証し、ユーザー体験に悪影響を及べることを明らかにすること。
• 実世界の性能制限に関する実証データを提供することで、今後のVI-SLAMアルゴリズムの改善およびARアプリケーション設計の指針とすること。

提案手法

• 商用スマートフォンARプラットフォーム上で、デバイスポーズとホログラム位置の時間的変化を記録するオープンソースARアプリ「HoloMeasure」を開発した。
• 6種類のユーザー行動（例：歩き去る、一時停止）と3種類のスマートフォンモデル、200以上の屋内環境を対象に体系的な実験を実施した。
• 2つの主要な指標を測定した：ずれ（元のホログラム位置と現在のホログラム位置とのユークリッド距離）と再ロケーション時間（追跡喪失から回復までの期間）。
• ARKitとARCoreの組み込みポーズ追跡および再ロケーションログ機能を活用し、リアルタイムのデバイスポーズデータを収集した。
• 照明、表面テクスチャ、カメラ視点の違いを変化させた条件でデータ収集を行い、環境要因の影響を評価した。
• 環境要因（例：テクスチャ、反射性、照明）と不安定性指標の相関関係を分析した。

実験結果

リサーチクエスチョン

• RQ1 マーカーレススマートフォンARにおいて、ユーザー行動（例：歩き去る、一時停止）の違いによってホログラムのずれはどのように変化するか？
• RQ2 表面テクスチャ、照明、反射性といった環境要因がホログラムの安定性に与える影響は何か？
• RQ3 再ロケーション時間は、一時的な追跡喪失中の仮想コンテンツの認識上の安定性にどのように影響するか？
• RQ4 デバイスモデル（例：iPhone 11 と Android モデル）の違いが、ずれの大きさや再ロケーション行動にどの程度影響を与えるか？
• RQ5 HoloMeasureのような標準化されたオープンソースツールは、多様な実世界環境においてAR安定性の一貫性ある大規模評価を可能にするか？

主な発見

• テスト環境の半数以上でホログラムのずれが5cmを超えており、実世界での利用において顕著な空間的不安定性が確認された。
• デバイスの移動やカメラの遮断時には頻繁に再ロケーション時間が発生し、一時的ではあるがホログラムの不自然な移動を引き起こしていた。
• テクスチャがなく、コントラストが低い、または反射性の高い環境でずれが最も顕著であり、これは屋内建物で一般的な環境条件である。
• 明るくテクスチャのある環境でも、30%以上のケースでずれが2cmを超えており、ポーズ推定における持続的な課題が示された。
• 本研究では、スマートフォンARプラットフォーム（ARKit/ARCore）が通常のユーザー行動下で顕著な不安定性を示すことが確認され、仮想オブジェクトの恒久性を維持する体験が損なわれることを明らかにした。
• 結果から、実用的なARアプリケーションの安定性を向上させるために、強化されたVI-SLAMアルゴリズムと環境認識の向上が急務であることが強く示唆された。