[논문 리뷰] Augmented Reality Applied to LEGO Construction: AR-based Building Instructions with High Accuracy & Precision and Realistic Object-Hand Occlusions.

Wei Yan|arXiv (Cornell University)|2019. 07. 29.

Augmented Reality Applications참고 문헌 38인용 수 7

한 줄 요약

BRICKxAR는 마커 기반 AR와 센서 융합을 통해 하위 밀리미터 수준의 정확도를 달성하는 증강현실 시스템을 제안한다 (<1mm 평균 오차). 이 시스템은 실제 손과 물리적 브릭 사이의 현실적인 음영 처리를 가능하게 하여 가상의 브릭을 실제 손으로 자연스럽게 잡을 수 있도록 하며, 복잡한 소형 부품 조립 작업의 공간적 지시 능력을 크게 향상시킨다. 이는 LEGO 아크 드 트리OMPHE 모델을 구축한 프로토타입을 통해 검증되었다.

ABSTRACT

BRICKxAR is a novel Augmented Reality (AR) instruction method for construction toys such as LEGO. With BRICKxAR, physical LEGO construction is guided by virtual bricks. Compared with the state-of-the-art, accuracy of the virtual - physical model alignment is significantly improved through a new design of marker-based registration, which can achieve an average error less than 1mm throughout the model. Realistic object occlusion is accomplished to reveal the true spatial relationship between physical and virtual bricks. LEGO players' hand detection and occlusion are realized to visualize the correct spatial relationship between real hands and virtual bricks, and allow virtual bricks to be "grasped" by real hands. The integration of these features makes AR instructions possible for small-parts assembly, validated through a working AR prototype for constructing LEGO Arc de Triomphe, quantitative measures of the accuracies of registration and occlusions, and heuristic evaluation of AR instruction features.

연구 동기 및 목표

• 건설 놀이기구용 AR 기반 지침의 정확도와 현실감을 향상시키기 위해.
• 기존 AR 시스템이 소형 부품을 추적하는 데서 약점이 있으며, 물리적 조작 중 공간 정합도를 유지하는 데 어려움을 겪는 문제를 해결하기 위해.
• 실제 손, 물리적 브릭, 가상 AR 요소 사이의 현실적인 음영 처리를 가능하게 하여 몰입감 있는 공간적 지시를 제공하기 위해.
• 복잡한 LEGO 아크 드 트리OMPHE 모델의 전면 프로토타입을 통해 시스템을 검증하기 위해.
• AR 지침 및 조립 지시의 기존 설계 원칙에 기반해 시스템을 평가하기 위해.

제안 방법

• 고정밀 가상-물리 정렬을 위한 카메라와 6-DoF 운동 센서(자이로스코프, 가속도계, 자석계)를 활용한 마커 기반 정위치 시스템.
• 실시간 손 감지 및 음영 렌더링을 통한 실제 손과 가상 브릭 간의 정확한 공간 관계 시뮬레이션.
• 가상 브릭이 물리적 브릭과 실제 손 뒤에 숨겨지도록 하는 물체 음영 렌더링을 통한 현실감 향상.
• 주 시야에서 보이지 않는 물리적 브릭을 찾는 데 도움을 주기 위해 동적 서브 윈도우 애니메이션 통합.
• 안정적인 추적을 위해 고해상도 디스플레이와 고급 SLAM 기능을 활용한 AR 기반 iOS 플랫폼 사용.
• 정량적 및 히우리스틱 평가를 위해 전체 386단계의 LEGO 아크 드 트리OMPHE 모델을 활용한 프로토타입 구현.

실험 결과

연구 질문

• RQ1 마커 기반 AR 정위치가 전체적으로 복잡한 LEGO 모델에서 하위 밀리미터 수준의 정확도를 달성할 수 있는가? (<1mm 평균 오차)
• RQ2 실제 물체와 손의 음영 처리를 효과적으로 구현하여 AR 조립 지침에서 공간 인지와 몰입감을 향상시킬 수 있는가?
• RQ3 소형 부품 조립에서 기존 지침서와 기존 AR 시스템에 비해 BRICKxAR의 사용성과 성능은 어떻게 비교되는가?
• RQ4 AR 설계 지침, 예를 들어 인지 부하 최소화 및 정신 모델 지원과 같은 원칙들이 AR 기반 조립 지침 시스템에 얼마나 적용 가능한가?
• RQ5 소형이고 정교한 부품, 예를 들어 1x1 LEGO 브릭에 적용했을 때 현재 AR 하드웨어와 추적 방법의 한계는 무엇인가?

주요 결과

• BRICKxAR 시스템은 전체 LEGO 아크 드 트리OMPHE 모델에서 평균 정위치 오차가 1mm 미만으로 측정되어 최신 기술 수준의 AR 시스템을 크게 뛰어넘었다.
• 실제 물리적 브릭과 실제 손 뒤에 숨겨지는 현실적인 물체 및 손 음영 처리가 성공적으로 적용되어 공간적 현실감이 향상되었다.
• 실제 손이 가상 브릭을 '잡는' 방식으로 정확한 공간 관계가 유지되어 사용자 몰입도와 직관적 상호작용이 향상되었다.
• 히우리스틱 평가를 통해 BRICKxAR가 기존 AR 설계 지침 및 조립 지침 원칙과 잘 부합하며, 특히 명확성과 공간적 지시 측면에서 뛰어난 성능을 보였다.
• 정량적 측정을 통해 시스템의 정위치 및 음영 렌더링의 높은 정밀도가 입증되어 기술적 탄탄함이 확인되었다.
• 프로토타입은 AR 기반 지침이 복잡한 소형 부품 LEGO 조립에 실현 가능하고 효과적임을 입증하였으며, 교육 및 산업 분야에 큰 잠재력을 지닌다.