[論文レビュー] VisAR: Bringing Interactivity to Static Data Visualizations through Augmented Reality

Taeheon Kim, Bahador Saket+2 more|arXiv (Cornell University)|Aug 4, 2017

Data Visualization and Analytics参考文献 20被引用数 12

ひとこと要約

VisAR は、Microsoft HoloLens を用いて静的ビジュアライゼーション上でインタラクティブなデータ探索を可能にする拡張現実（AR）システムである。動的でジェスチャーおよび音声制御の可能なビジュアライゼーションを静的図表に重ねることで、ユーザーはリアルタイムにデータをフィルタリング・強調表示・リンク・詳細調査できる。本研究では、従来のビジュアライゼーションに没入型インタラクションを組み込むことが実現可能であることを示している。

ABSTRACT

Static visualizations have analytic and expressive value. However, many interactive tasks cannot be completed using static visualizations. As datasets grow in size and complexity, static visualizations start losing their analytic and expressive power for interactive data exploration. Despite this limitation of static visualizations, there are still many cases where visualizations are limited to being static (e.g., visualizations on presentation slides or posters). We believe in many of these cases, static visualizations will benefit from allowing users to perform interactive tasks on them. Inspired by the introduction of numerous commercial personal augmented reality (AR) devices, we propose an AR solution that allows interactive data exploration of datasets on static visualizations. In particular, we present a prototype system named VisAR that uses the Microsoft Hololens to enable users to complete interactive tasks on static visualizations.

研究の動機と目的

• プレゼンテーションやポスター発表のような文脈において、インタラクションが通常無効化されている中で、静的ビジュアライゼーションがインタラクティブなデータ探索を支援できないという限界を是正すること。
• 動的ビジュアライゼーションシステムを必要とせずに、拡張現実（AR）が静的ビジュアライゼーションの分析能力をどのように拡張できるかを調査すること。
• 自然なインタラクション技術（例：ジェスチャー、音声）を用いて、ユーザーが静的ビジュアライゼーション上で個人的なデータ駆動型のクエリ（例：フィルタリング、詳細調査）を実行できるようにすること。
• HoloLens などのARデバイスを用いて、実世界の場面（例：学術的発表）においてインタラクティブなデータ探索を実現する可能性を評価すること。

提案手法

• 本システムは、空間マッピングおよびマーカーレスAR技術を用いて、物理空間に存在する静的ビジュアライゼーション（例：棒グラフ、散布図）を検出し、追跡する。
• ユーザーは、手のジェスチャー（例：「クリック」で詳細を表示、「終了」でビューを閉じる）および音声コマンドを用いて、フィルタリングやリンクなどのアクションをトリガーする。
• システムは、リアルタイムに静的ビジュアライゼーションの上に動的でインタラクティブな要素（例：ポップアップ棒グラフ、詳細を強調表示するビュー）を重ねる。
• ユーザーの個人的なインタラクション空間とビジュアライゼーション空間との間で、空間的・データ的整合性を確立することで、パーソナライズされたリアルタイムのインタラクションを可能にする。
• インターフェースは、オンデマンド詳細表示、強調表示、フィルタリング、ビューのリンクの4つのコアなインタラクション技術をサポートしており、いずれもジェスチャーまたは音声によってトリガーされる。
• 本システムは、Argon などのクロスプラットフォームARフレームワークを用いることで、スマートフォンへの適応が可能であり、ポータブルかつ拡張性に優れている。

実験結果

リサーチクエスチョン

• RQ1 静的ビジュアライゼーションは、通常非インタラクティブであるが、拡張現実（AR）を用いてインタラクティブなデータ探索を可能にすることができるか？
• RQ2 ジェスチャーおよび音声インタラクションは、AR 上で静的データビジュアライゼーションを探索する際のユーザーの関与度とタスク遂行にどのような影響を与えるか？
• RQ3 HoloLens などのハイエンドARデバイスを用いて、静的コンテンツ上のインタラクティブビジュアライゼーションタスクをサポートすることは現実的か？
• RQ4 非自明なジェスチャーまたは音声コマンドに依存するARシステムでは、インタラクティブ機能をどのように発見可能にすることができるか？
• RQ5 ARは、例として外れ値の特定や調査といった、静的ビジュアライゼーションにおけるデータ理解をどの程度向上させることができるか？

主な発見

• VisAR は、Microsoft HoloLens を用いてジェスチャーおよび音声コマンドによる制御により、静的ビジュアライゼーション上でリアルタイムでインタラクティブなデータ探索を実現した。
• 本システムは、静的図表上でフィルタリング、強調表示、リンク、詳細調査といった、主な分析タスクを実行可能にした。
• ユーザースタディの結果、ユーザーは関心のあるデータポイント（例：散布図における外れ値の特定）を独立して調査し、インタラクティブなオーバーレイによって洞察を得られた。
• 本システムはパーソナライズされたインタラクションをサポートしており、他のユーザーに迷惑をかけずに、ユーザーご自身の空間的表示で動的ビジュアライゼーションを表示・操作できる。
• プロトタイプは、インタラクションが制限される発表会場などの文脈において、ARが静的ビジュアライゼーションの分析的パワーを効果的に拡張できることを示している。
• 本アプローチは、スマートフォンなどのコンsumer-grade ARデバイスにも適応可能であり、広範な実用的展開の可能性を示している。