[論文レビュー] ARGUS: Visualization of AI-Assisted Task Guidance in AR

Sonia Castelo, João Rulff+16 more|arXiv (Cornell University)|Aug 11, 2023

Augmented Reality ApplicationsComputer Science被引用数 3

ひとこと要約

ARGUS は、AR支援タスクガイダンスにおけるマルチモーダルセンサデータおよびAIモデル出力のリアルタイムおよびリトロスペクティブ分析を可能にするビジュアルアナリティクスシステムである。このシステムは、オブジェクト検出、アクション検出、ステップ検出、注視追跡、モデルの信頼性スコアのインタラクティブな3Dおよび時系列可視化を通じて、開発者がAIアシスタントのデバッグ、改善、ファインチューニングを支援する。

ABSTRACT

The concept of augmented reality (AR) assistants has captured the human imagination for decades, becoming a staple of modern science fiction. To pursue this goal, it is necessary to develop artificial intelligence (AI)-based methods that simultaneously perceive the 3D environment, reason about physical tasks, and model the performer, all in real-time. Within this framework, a wide variety of sensors are needed to generate data across different modalities, such as audio, video, depth, speech, and time-of-flight. The required sensors are typically part of the AR headset, providing performer sensing and interaction through visual, audio, and haptic feedback. AI assistants not only record the performer as they perform activities, but also require machine learning (ML) models to understand and assist the performer as they interact with the physical world. Therefore, developing such assistants is a challenging task. We propose ARGUS, a visual analytics system to support the development of intelligent AR assistants. Our system was designed as part of a multi year-long collaboration between visualization researchers and ML and AR experts. This co-design process has led to advances in the visualization of ML in AR. Our system allows for online visualization of object, action, and step detection as well as offline analysis of previously recorded AR sessions. It visualizes not only the multimodal sensor data streams but also the output of the ML models. This allows developers to gain insights into the performer activities as well as the ML models, helping them troubleshoot, improve, and fine tune the components of the AR assistant.

研究の動機と目的

• 環境を認識し、タスクについて推論し、ユーザー行動に適応する信頼性が高くリアルタイムなAI支援ARアシスタントを開発する課題に対処すること。
• 複雑なマルチモーダルセンサ出力およびモデル出力データを可視化することで、MLおよびAR開発者がARタスクガイダンスで使用されるAIモデルのトラブルシューティングと改善を支援すること。
• ARセッションのリトロスペクティブ分析を可能にし、モデルの挙動、実行者の行動、および時間経過に伴う注視パターンを理解すること。
• MLエンジニアの認知的負荷を軽減するため、空間的および時系列的次元でモデル予測を文脈化するスケーラブルでインタラクティブな可視化を提供すること。
• ビジュアライゼーション、機械学習、AR研究コミュニティからの知見を統合することで、ARアシスタントの共同設計を支援すること。

提案手法

• ARGUS は、ビデオ、深度、注視、音声、時間飛行センサを含むARヘッドセットからのマルチモーダルデータストリームのリアルタイムおよびオフライン可視化を統合する。
• システムは、再構築されたワールドポイントクラウドに被験者の注視プロキシとオブジェクト検出を重ね合わせた3D空間的ビューを提供する。
• 時系列的および空間的可視化ウィジェットにより、オブジェクト検出、アクション検出、ステップ検出、信頼性スコアなどのモデル出力を、全セッションにわたって探索できる。
• システムは、異なる粒度でモデル出力およびセンサデータの選択的可視化をサポートしており、下位の動画フレームとの文脈での予測を確認できる。
• 手動によるバウンディングボックス定義と今後の自動ノイズ除去統合を介して、ポイントクラウド内の手のアーチファクトなどのノイズデータの特定および除外が可能である。
• ARGUS はデータおよびモデル出力のアノテーションを可能にし、将来的には複数被験者セッション比較およびプライバシー保護型データ処理のサポートを拡張する計画である。

実験結果

リサーチクエスチョン

• RQ1 ビジュアルアナリティクスツールは、リアルタイムARタスクガイダンスシステム内でのAIモデルの理解とデバッグを、開発者がどのように支援できるか？
• RQ2 ARにおける被験者行動、センサデータ、モデル出力の間の時空間的関係を効果的に探索するための可視化技術として、どのような手法が最適か？
• RQ3 インタラクティブな3Dおよび時系列可視化は、ARタスク実行中のモデルの信頼性、予測誤差、注視パターンに関するインサイトをどのように向上させるか？
• RQ4 文脈的なマルチモーダルデータ統合は、効果的なモデルの最適化とシステム改善を可能にする上で果たす役割は何か？
• RQ5 ARGUS のようなビジュアルアナリティクスシステムは、ビジュアライゼーション、ML、AR研究分野の共同設計をどのように支援できるか？

主な発見

• ARGUS は、空間的および時系列的文脈でオブジェクトおよびアクション検出出力を可視化することで、開発者がモデルの予測誤りを特定・是正できることを示した。たとえば、「プレート」がタスクの後半にのみ正しく認識されたことが判明した。
• システムは、注視ヒートマップが被験者の注視パターンを効果的に可視化できることを明らかにした。たとえば、レシピの最終的な注視が明確に特定され、タスクへの関与度やモデルとの整合性の理解に寄与した。
• モデルの信頼性スコアのインタラクティブな可視化により、MLエンジニアは特定の条件下での性能低下を診断し、データ拡張やモデル再トレーニング戦略の立案に役立てた。
• 3D空間的可視化と時系列追跡の統合により、視点や環境的文脈の変化に伴うモデル予測の変化をよりよく理解できるようになった。
• システムは、ターミナルログや動画オーバーレイ技術に代わるスケーラブルでインタラクティブなインターフェースを提供することで、MLエンジニアの負担を軽減した。
• 共同設計プロセスにおけるユーザーのフィードバックから、ARGUS がモデルの解釈可能性を向上させ、ARアシスタント開発における迅速なイテレーションサイクルを促進したことが示された。