[論文レビュー] Augmented Reality Applied to LEGO Construction: AR-based Building Instructions with High Accuracy & Precision and Realistic Object-Hand Occlusions.

Wei Yan|arXiv (Cornell University)|Jul 29, 2019

Augmented Reality Applications参考文献 38被引用数 7

ひとこと要約

BRICKxARは、センサーフュージョンを用いたマーカー基準のARと組み合わせることで、1mm未塔の登録精度（平均誤差＜1mm）を達成するLEGO組立用拡張現実（AR）システムを導入した。このシステムは、実物の物体と手の影をリアルに再現するため、仮想ブロックが自然に実物の手でつかめるようになり、複雑で小さな部品を組み立てる作業における空間的ガイドラインを著しく向上させる。これは、LEGOアーケ・ド・トライヨンフォンの完全なプロトタイプを用いた実証によって裏付けられている。

ABSTRACT

BRICKxAR is a novel Augmented Reality (AR) instruction method for construction toys such as LEGO. With BRICKxAR, physical LEGO construction is guided by virtual bricks. Compared with the state-of-the-art, accuracy of the virtual - physical model alignment is significantly improved through a new design of marker-based registration, which can achieve an average error less than 1mm throughout the model. Realistic object occlusion is accomplished to reveal the true spatial relationship between physical and virtual bricks. LEGO players' hand detection and occlusion are realized to visualize the correct spatial relationship between real hands and virtual bricks, and allow virtual bricks to be "grasped" by real hands. The integration of these features makes AR instructions possible for small-parts assembly, validated through a working AR prototype for constructing LEGO Arc de Triomphe, quantitative measures of the accuracies of registration and occlusions, and heuristic evaluation of AR instruction features.

研究の動機と目的

• LEGOのような建設おもちゃのARベースの組立説明書の正確性とリアリズムを向上させること。
• 既存のARシステムが小さな部品の追跡や物理的操作中の空間的整合性を維持する点での限界を克服すること。
• 実物の手、物理的ブロック、仮想のAR要素の間でリアルな影を実現し、没入的な空間的ガイドラインを提供すること。
• 複雑なLEGOアーケ・ド・トライヨンフォンの完全なプロトタイプを用いて、システムを実証すること。
• AR誘導のための確立された設計原則と組立誘導の観点から、システムを評価すること。

提案手法

• カメラと6自由度の運動センサ（ジャイロスコープ、加速度計、磁力計）を用いたマーカー基準の登録システムにより、仮想と物理の正確な一致を実現する。
• リアルタイムでの手の検出と影のレンダリングにより、実物の手と仮想ブロックの正しい空間的関係を再現する。
• 物体の影をレンダリングすることで、仮想ブロックが物理的ブロックや手の後ろに隠れるようにし、リアリズムを向上させる。
• 動的サブウィンドウアニメーションを統合し、メインビューに表示されない物理的ブロックの場所をユーザーが特定しやすくする。
• 高解像度ディスプレイと高度なSLAM機能を活用するAR対応iOSプラットフォームを採用し、安定した追跡を実現する。
• 386ステップの完全なLEGOアーケ・ド・トライヨンフォンモデルを用いたプロトタイプ実装により、定量的およびヒューリスティックな評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 マーカー基準のAR登録は、複雑なLEGOモデル全体で1mm未塔の精度（平均誤差＜1mm）を達成できるか？
• RQ2 実物の物体と手の影をリアルに実装できるか？これにより、AR組立説明書における空間的認識と没入感が向上するか？
• RQ3 BRICKxARは、従来の図解説明書や既存のARシステムと比較して、小さな部品の組立における使いやすさとパフォーマンスで優れているか？
• RQ4 AR設計ガイドライン（認知的負荷の低減、心象的モデルの支援など）は、ARベースの組立説明書システムにどの程度適用可能か？
• RQ5 1×1のLEGOブロックのような小さな複雑な部品に適用する際、現在のARハードウェアと追跡手法の限界は何か？

主な発見

• BRICKxARシステムは、LEGOアーケ・ド・トライヨンフォン全体で平均登録誤差が1mm未塔に達し、最先端のARシステムを著しく上回った。
• 実物の物体と手の影が成功裏に実装され、仮想ブロックが物理的ブロックや実物の手の後ろに自然に隠れるようになり、空間的リアリズムが向上した。
• システムにより、実物の手が仮想ブロックを「つかむ」ことが可能になり、正しい空間的関係が維持された。これにより、ユーザーの没入感と直感的なインタラクションが向上した。
• ヒューリスティック評価により、BRICKxARはAR設計ガイドラインおよび組立説明書の原則にうまく適合しており、特に明確さと空間的ガイドラインの面で優れていることが確認された。
• 定量的指標により、モデル登録と影のレンダリングの両方で高い正確性が確認され、システムの技術的頑健性が裏付けられた。
• プロトタイプは、ARベースの誘導が複雑で小さな部品を含むLEGO組立に実用的かつ効果的であることを示し、教育的および産業的応用への強い可能性を示唆した。