[論文レビュー] Design Space and Implementation of RAG-Based Avatars for Virtual Archaeology

Wilhelm Kerle-Malcharek, Giulio Biondi+9 more|arXiv (Cornell University)|Mar 24, 2026

3D Surveying and Cultural Heritage被引用数 0

ひとこと要約

この論文は、文化財保存のVRにおけるAI駆動型アバターの設計空間を定義し、Maxentiusの霊廟を中心としたVRプロトタイプを構築し、VR文脈でのRAG構成とユーザーの作業負荷を評価する。

ABSTRACT

Immersive technologies, such as virtual and augmented reality, are transforming digital heritage by enabling users to explore and interact with culturally significant sites. It is now possible to view and augment digital twins, or digitally reconstructed versions of them, and to enable access to previously unreachable locations for a broader audience. Here, we investigate retrieval-augmented generation (RAG)-based avatars as an interface for accessing further information about digital cultural heritage objects while immersed in dedicated virtual environments. We present a requirement design space that spans the application realm, avatar personality, and I/O modalities. We instantiate it with a RAG system coupled to a conversational avatar in a virtual reality (VR) environment, using the Maxentius mausoleum from the 4th century AD as a case study, through which users gain access to curated on-demand information of the digitised heritage object. Our workflow utilises scholarly texts and enriches them with metadata. We evaluate various RAG configurations in terms of answer quality on a small expert-crafted question-answer set, as well as the perceived workload of users of a VR setup using such a RAG avatar. We demonstrate evidence that users perceive the overall workload for interacting with such an avatar as below average and that such avatars help to gain topical engagement. Overall, our work demonstrates how to utilise RAG-driven VR avatars for archaeological purposes and provides evidence that they can offer a pathway for immersive, AI-enhanced digital heritage applications.

研究の動機と目的

• VRの文化遺産アプリケーションにおけるAI駆動アバターの要件設計空間を提案する。
• Maxentius霊廟をケーススタディとして、VR環境でRAGベースのアバタープロトタイプを実装する。
• VRインタラクションにおける異なるRAG構成が回答品質とユーザー作業負荷に与える影響を評価する。
• 没入型でAI強化されたデジタル遺産アプリケーションの実現可能性を示し、実務家の設計上の考慮事項を概説する。

提案手法

• アプリケーション領域、アバターの個性、アバターI/Oの3ブロックの概念設計を開発してシステム要件をguidanceする。
• ロジカルなVR–RAGアーキテクチャを設計し、ローカルデータ保存、埋め込みベースのリトリーバル、対話のためのTTSを組み込む。
• Unityベースの物理VRプロトタイプを実装し、QdrantベクトルストアとCIDOC-CRMに基づくメタデータアプローチを用いたローカルFlowiseAI RAGスタックに接続する。
• 文献ベースの知識ベースをMaxentius霊廟に焦点を絞って編成し、著者・タイトル・ publication type・関連性などのメタデータで豊富化する。
• 専門家生成QAペアとLLM-判定者メトリクス、VRユーザーのNASA-TLX作業負荷評価を用いて、複数のRAG構成（7つの設定）を評価する。

実験結果

リサーチクエスチョン

• RQ1 VRのCH文脈におけるAI駆動アバターの設計空間を、アプリケーション、個性、I/Oの観点で構造化するにはどうすればよいか？
• RQ2 文化遺産のオンプレミスVR展開のために、回答品質と計算実用性の最適なバランスを提供するRAG構成はどれか？
• RQ3 VRでRAGベースのアバターと対話することは、ユーザーの作業負荷と関与の知覚にどのような影響を与えるか？
• RQ4 RAG-RV展開でドメイン特有の推論を支える実用的なワークフローとメタデータ戦略は何か？
• RQ5 RAG駆動のVRアバターは、Maxentius霊廟という特定の考古学的对象について専門家レベルの情報を提供しつつ、創造性と正確性を制御できるか？

主な発見

• RAG駆動のVRアバターは、VR文化遺産コンテキストでオンデマンドの専門家レベル情報を提供できる。
• 異なるRAG構成は回答品質に影響を与え、ドメイン認識のメタデータと知識グラフが検索誘導を改善する。
• VRでRAGアバターと対話する際の作業負荷は平均未満と報告されており、没入型遺産探究に対する良好な使いやすさを示唆する。
• 厳選された文献を用いた純粋なオンプレミス・低温度RAG設定は、学術利用に適した責任ある創造性の強度を抑えた応答を支える。
• Maxentius霊廟のケーススタディは、OCR済み文献からCIDOC-CRMに基づく知識グラフを動力源とするGraphRAGシステムへの実現可能なワークフローを示す。
• 本研究は、AI駆動アバターが没入型でAI強化されたデジタル遺産アプリケーションを促進する可能性を示す証拠を提供する。