[논문 리뷰] VisAR: Bringing Interactivity to Static Data Visualizations through Augmented Reality

Taeheon Kim, Bahador Saket외 2명|arXiv (Cornell University)|2017. 08. 04.

Data Visualization and Analytics참고 문헌 20인용 수 12

한 줄 요약

VisAR는 Microsoft HoloLens를 사용하여 정적 시각화 자료 위에 동적이고 제스처 및 음성 제어 시각화를 오버레이하여 상호작용 가능한 데이터 탐색을 가능하게 하는 증강현실 시스템이다. 정적 차트 위에 실시간으로 동적이고 제스처 및 음성 제어 시각화를 겹쳐 놓음으로써 사용자는 실시간으로 데이터를 필터링하고 강조 표시하며 연결하고 심층 탐색할 수 있다. 이는 전통적인 시각화 자료에 몰입형 상호작용을 추가하는 것이 가능함을 보여준다.

ABSTRACT

Static visualizations have analytic and expressive value. However, many interactive tasks cannot be completed using static visualizations. As datasets grow in size and complexity, static visualizations start losing their analytic and expressive power for interactive data exploration. Despite this limitation of static visualizations, there are still many cases where visualizations are limited to being static (e.g., visualizations on presentation slides or posters). We believe in many of these cases, static visualizations will benefit from allowing users to perform interactive tasks on them. Inspired by the introduction of numerous commercial personal augmented reality (AR) devices, we propose an AR solution that allows interactive data exploration of datasets on static visualizations. In particular, we present a prototype system named VisAR that uses the Microsoft Hololens to enable users to complete interactive tasks on static visualizations.

연구 동기 및 목표

• 발표나 포스터와 같은 환경에서 상호작용이 일반적으로 비활성화되어 있는 상황에서 정적 시각화 자료가 상호작용 가능한 데이터 탐색을 지원하는 데에 한계가 있다는 점을 해결하기 위해.
• 증강현실이 동적 시각화 시스템이 필요 없이도 정적 시각화 자료의 분석 기능을 어떻게 확장할 수 있는지 탐색하기 위해.
• 사용자가 자연스러운 상호작용 기법(예: 필터링, 심층 탐색 등)을 사용해 정적 시각화 자료에서 개인적인 데이터 기반 질의를 수행할 수 있도록 하기 위해.
• HoloLens와 같은 AR 기기로 실생활 환경(예: 학술 발표)에서 상호작용 가능한 데이터 탐색을 제공하는 것이 가능한지 평가하기 위해.

제안 방법

• 시스템은 공간 매핑과 마커리스 AR 기법을 사용하여 물리적 공간에서 정적 시각화 자료(예: 막대 차트, 산점도 등)를 감지하고 추적한다.
• 사용자는 손 제스처(예: '클릭'으로 세부 정보 표시, '종료'로 보기 닫기)와 음성 명령어를 사용하여 시각화 자료와 상호작용한다. 이는 필터링이나 연결과 같은 동작을 트리거한다.
• 시스템은 실시간으로 정적 시각화 자료 위에 동적이고 상호작용 가능한 요소(예: 팝업 바 차트, 디테일 인 컨텍스트 뷰 등)를 오버레이한다.
• 사용자의 개인적 상호작용 공간과 시각화 공간 간의 공간-데이터 정렬을 수립함으로써 개인화된 실시간 상호작용을 가능하게 한다.
• 인터페이스는 세부 정보 즉시 표시, 강조 표시, 필터링, 뷰 연결의 네 가지 핵심 상호작용 기법을 지원하며, 모두 제스처나 음성으로 트리거된다.
• 시스템은 이식성과 이식 가능성을 고려해 설계되었으며, Argon과 같은 크로스플랫폼 AR 프레임워크를 활용해 스마트폰으로의 적응 가능성도 있다.

실험 결과

연구 질문

• RQ1 정적 시각화 자료가 일반적으로 상호작용이 불가능한 데도 불구하고 증강현실을 사용해 상호작용 가능한 데이터 탐색을 가능하게 할 수 있는가?
• RQ2 증강현실에서 정적 데이터 시각화 자료를 탐색할 때 제스처 및 음성 상호작용이 사용자 참여도와 작업 성과에 어떤 영향을 미치는가?
• RQ3 HoloLens와 같은 고성능 AR 기기로 정적 콘텐츠에서 상호작용 가능한 시각화 작업을 지원하는 데에 실현 가능성은 어느 정도인가?
• RQ4 비명백한 제스처나 음성 명령어에 의존할 경우 AR 시스템은 어떻게 상호작용 기능을 사용자가 쉽게 발견할 수 있도록 해야 하는가?
• RQ5 AR는 정적 시각화 자료에서 데이터 이해도를 어느 정도 향상시킬 수 있는가? 예를 들어 이상치를 식별하고 조사하는 데에.

주요 결과

• VisAR는 Microsoft HoloLens를 통해 제스처 및 음성 명령어를 사용해 정적 시각화 자료에서 실시간으로 상호작용 가능한 데이터 탐색을 성공적으로 구현하였다.
• 시스템은 정적 차트에서 필터링, 강조 표시, 연결, 세부 정보 심층 탐색과 같은 핵심 분석 작업을 수행할 수 있도록 한다.
• 사용자 연구를 통해 사용자가 관심 있는 데이터 포인트(예: 산점도에서 이상치 식별)를 독립적으로 조사하고 상호작용 오버레이를 통해 통찰을 얻을 수 있음을 입증하였다.
• 시스템은 개인화된 상호작용을 지원하여 사용자가 자신의 공간적 디스플레이에서 동적 시각화를 볼 수 있고 조작할 수 있으며, 다른 사람의 작업에 영향을 주지 않는다.
• 프로토타입은 발표와 같은 환경에서 상호작용이 제한된 정적 시각화 자료의 분석 능력을 효과적으로 확장할 수 있음을 보여주며, AR의 잠재력을 입증한다.
• 이 접근법은 스마트폰과 같은 소비자 수준의 AR 기기로도 적응 가능하므로 광범위한 실용적 구현 가능성을 시사한다.