[論文レビュー] RealitySummary: Exploring On-Demand Mixed Reality Text Summarization and Question Answering using Large Language Models

Aditya Gunturu, Shivesh Jadon+5 more|arXiv (Cornell University)|May 28, 2024

Augmented Reality Applications被引用数 4

ひとこと要約

RealitySummaryは、Google Cloud OCRとGPT-4を活用して、印刷物やデジタル文書をリアルタイムで抽出・要約・拡張するオンデマンドのミックスドリアリティ・リーディングアシスタントを提供する。Microsoft HoloLens 2およびApple Vision Proを介して、文脈に即した要約、キーワードリスト、タイムライン、情報カードを空間的に投影することで、事前処理を要せず動的でAI駆動の文書強化を実現し、ユーザースタディーで高い使いやすさと関与度を示した。

ABSTRACT

Large Language Models (LLMs) are gaining popularity as reading and summarization aids. However, little is known about their potential benefits when integrated with mixed reality (MR) interfaces to support everyday reading. In this iterative investigation, we developed RealitySummary, an MR reading assistant that seamlessly integrates LLMs with always-on camera access, OCR-based text extraction, and augmented spatial and visual responses. Developed iteratively, RealitySummary evolved across three versions, each shaped by user feedback and reflective analysis: 1) a preliminary user study to understand reader perceptions (N=12), 2) an in-the-wild deployment to explore real-world usage (N=11), and 3) a diary study to capture insights from real-world work contexts (N=5). Our empirical studies' findings highlight the unique advantages of combining AI and MR, including always-on implicit assistance, long-term temporal history, minimal context switching, and spatial affordances, demonstrating significant potential for future LLM-MR interfaces beyond traditional screen-based interactions.

研究の動機と目的

• 事前処理を要せず、任意の物理的・デジタル文書を対象とした汎用的でオンデマンドのミックスドリアリティリーディングアシスタントの開発。
• フォーマティブデザインスタディを通じて、要約、比較、ナビゲーションなどの効果的な文書強化技術を同定・実装すること。
• 制御されたおよび現実世界でのユーザースタディーを通じて、AI駆動のMR文書強化の使いやすさと現実世界への適用可能性を評価すること。
• マルチモーダル入力（例：音声、視線）の統合や、クロスページ要約、デジタル文書リンクなどの将来的な拡張機能の探求。

提案手法

• リアルタイムで物理的・デジタル文書からテキストおよび画像を抽出するために、Google Cloud OCRとOpenCVを活用。
• 抽出されたテキストをもとに、GPT-4を用いて要約、キーワードリスト、比較表、タイムライン、情報カードを生成。
• 文書の画像特徴に基づくマーカーレスARトラッキングを用いて、ミックスドリアリティ空間で文書の周囲に拡張コンテンツを空間的にアンカー化・レンダリング。
• 音声認識API（Googleの音声認識）を統合し、要約やクエリの音声アクティベートを可能に。
• HoloLens 2およびApple Vision Proを用いて、生成されたコンテンツを文書の周囲に空間的な2Dキャンバスとして投影。
• OCR、LLM、ARレンダリングを統合することで、事前の文書準備なしにリアルタイムで文脈に即応した文書強化を実現。

実験結果

リサーチクエスチョン

• RQ1 ミックスドリアリティを通じて多様な文書タイプを強化する上で、最も効果的で汎用的な手法は何か？
• RQ2 ユーザーは、リアルタイムのミックスドリアリティ環境において、オンデマンドで生成されたAI駆動の文書補助機能とどのように相互作用するか？
• RQ3 ミックスドリアリティ環境で、リアルタイムかつオンデマンドの文書強化にOCRとLLMを実装するにあたり、技術的・使いやすさ上の課題は何か？
• RQ4 マルチモーダル入力（例：音声、視線）は、AI駆動のリーディングアシスタントの機能性と適応性をどのように向上させるか？
• RQ5 このようなシステムは、現実世界のリーディングシナリオにおいて、長期的に見て使いやすさと関与度を維持できるか？

主な発見

• 6名の参加者を対象としたフォーマティブデザインスタディにより、要約、拡張、ナビゲーション、比較、抽出の5つの文書強化の主要なカテゴリーが同定され、システムに6つの主要機能が実装された。
• 使いやすさスタディ（N=12）では、参加者が常に有効で、暗黙的（implicit）なインタラクションモデルを好んだことが確認され、MRコンテンツの空間的・実体的な性質が関与度と理解度を顕著に向上させた。
• 現実世界スタディ（N=11）では、多様な現実世界のリーディング文脈で実用性が確認され、未準備の文書にも適応可能なシステムの柔軟性が評価された。
• ARトラッキングの不安定さは、特に低照度条件下でテキストのみの文書で観察され、現在のARトラッキングの耐障害性に限界があることが示された。
• OCRおよび画像トラッキングのパフォーマンスは文書の品質に依存し、処理遅延や誤検出の原因となった。
• LLMが生成するコンテンツは、曖昧または高度に専門的なテキストでは偶発的に誤りを含むことがあり、より良いプロンプト工学やドメイン特化微調整の必要性が示された。