[논문 리뷰] ARGUS: Visualization of AI-Assisted Task Guidance in AR

Sonia Castelo, João Rulff외 16명|arXiv (Cornell University)|2023. 08. 11.

Augmented Reality ApplicationsComputer Science인용 수 3

한 줄 요약

ARGUS는 증강현실(AR) 보조 작업 지시에서 다중모달 센서 데이터와 AI 모델 출력을 실시간 및 후행 분석할 수 있도록 해주는 시각적 분석 시스템이다. 이 시스템은 객체, 동작, 단계 탐지, 시선 추적, 모델 신뢰도 등에 대한 상호작용 가능한 3차원 및 시간적 시각화를 제공함으로써 개발자가 AI 어시스턴트의 디버깅, 향상 및 정밀 조정을 보다 효과적으로 수행할 수 있도록 지원한다.

ABSTRACT

The concept of augmented reality (AR) assistants has captured the human imagination for decades, becoming a staple of modern science fiction. To pursue this goal, it is necessary to develop artificial intelligence (AI)-based methods that simultaneously perceive the 3D environment, reason about physical tasks, and model the performer, all in real-time. Within this framework, a wide variety of sensors are needed to generate data across different modalities, such as audio, video, depth, speech, and time-of-flight. The required sensors are typically part of the AR headset, providing performer sensing and interaction through visual, audio, and haptic feedback. AI assistants not only record the performer as they perform activities, but also require machine learning (ML) models to understand and assist the performer as they interact with the physical world. Therefore, developing such assistants is a challenging task. We propose ARGUS, a visual analytics system to support the development of intelligent AR assistants. Our system was designed as part of a multi year-long collaboration between visualization researchers and ML and AR experts. This co-design process has led to advances in the visualization of ML in AR. Our system allows for online visualization of object, action, and step detection as well as offline analysis of previously recorded AR sessions. It visualizes not only the multimodal sensor data streams but also the output of the ML models. This allows developers to gain insights into the performer activities as well as the ML models, helping them troubleshoot, improve, and fine tune the components of the AR assistant.

연구 동기 및 목표

• 환경을 인식하고 작업에 대해 추론하며 사용자 행동에 적응하는 신뢰성 있고 실시간 작동하는 AI 보조 AR 어시스턴트 개발의 과제를 해결하기 위해.
• 다중모달 센서 및 모델 출력 데이터의 복잡성을 시각화하여 AR 작업 지시에 사용되는 AI 모델의 트러블슈팅 및 향상에 ML 및 AR 개발자를 지원하기 위해.
• AR 세션의 후행 분석을 가능하게 하여 모델 행동, 수행자 행동, 그리고 시간에 따른 주의 패턴을 이해하기 위해.
• ML 엔지니어의 인지 부담을 줄이기 위해 공간적 및 시간적 차원에서 모델 예측을 맥락화하는 확장 가능한 상호작용 시각화를 제공하기 위해.
• 시각화, 기계학습, AR 연구 공동체의 통찰을 통합하여 AR 어시스턴트의 공동 설계를 지원하기 위해.

제안 방법

• ARGUS는 AR 헤드셋에서 오는 영상, 깊이, 시선, 음성, 시간 간격 센서 등 다양한 다중모달 데이터 스트림의 실시간 및 오프라인 시각화를 통합한다.
• 시스템은 재구성된 세계 포인트 클라우드 위에 수행자 시선 투영 및 객체 탐지 결과를 오버랩하는 3차원 공간 시각화를 제공한다.
• 시간적 및 공간적 시각화 위젯을 통해 사용자는 전체 세션 동안 객체 및 동작 탐지, 단계 탐지, 신뢰도 점수와 같은 모델 출력을 탐색할 수 있다.
• 시스템은 다양한 해상도에서 모델 출력 및 센서 데이터의 선택적 시각화를 지원하여 사용자가 기반 영상 프레임과 함께 예측 결과를 맥락 속에서 검토할 수 있도록 한다.
• 수동으로 경계 상자 정의를 통해 포인트 클라우드의 손실 데이터(예: 손의 아티팩트)를 식별하고 제외할 수 있으며, 향후 자동화된 노이즈 제거 기능과의 통합도 계획 중이다.
• ARGUS는 데이터 및 모델 출력에 대한 애너테이션 기능을 제공하며, 향후 다수 수행자 세션 간 비교 및 개인정보 보호 기반 데이터 처리 기능 확장 계획이 수립되어 있다.

실험 결과

연구 질문

• RQ1 어떤 시각적 분석 도구가 실시간 AR 작업 지시 시스템 내에서 AI 모델을 이해하고 디버깅하는 데 개발자를 지원할 수 있는가?
• RQ2 AR 환경에서 수행자 행동, 센서 데이터, 모델 출력 간의 시공간적 관계 탐색에 가장 효과적인 시각화 기법은 무엇인가?
• RQ3 상호작용 가능한 3차원 및 시간적 시각화는 AR 작업 수행 중 모델 신뢰도, 예측 오류, 주의 패턴에 대한 통찰을 어떻게 향상시킬 수 있는가?
• RQ4 맥락 기반의 다중모달 데이터 통합은 효과적인 모델 정교화 및 시스템 개선을 위해 어떤 역할을 하는가?
• RQ5 ARGUS와 같은 시각적 분석 시스템은 시각화, 기계학습, AR 연구 분야 간의 공동 설계를 어떻게 지원할 수 있는가?

주요 결과

• ARGUS는 객체 및 동작 탐지 출력을 공간적 및 시간적 맥락에서 시각화함으로써 개발자가 모델 예측 오류를 식별하고 해결할 수 있도록 했다. 예를 들어, '접시'가 작업의 후반부에서야 인식된 것을 발견할 수 있었다.
• 시스템은 시선 히트맵이 수행자의 주의 패턴을 효과적으로 드러내어, 레시피의 최종 초점에 대한 이해를 돕고 작업 참여도 및 모델 일치도를 분석하는 데 기여했다.
• 모델 신뢰도 점수의 상호작용 시각화 기능은 ML 엔지니어가 특정 조건에서의 성능 저하를 진단하고 데이터 증강 및 모델 재학습 전략 수립에 도움을 주었다.
• 3차원 공간 시각화와 시간 추적의 통합을 통해 모델 예측이 시야각과 환경적 맥락에 따라 어떻게 변화하는지 더 잘 이해할 수 있었다.
• 시스템은 터미널 로깅 및 영상 오버레이 기법을 대체하여 확장 가능한 상호작용 인터페이스를 제공함으로써 ML 엔지니어의 부담을 줄였다.
• 공동 설계 과정에서의 사용자 피드백은 ARGUS가 모델의 해석 가능성 향상과 AR 어시스턴트 개발의 더 빠른 반복 주기 촉진에 기여했음을 입증했다.