[논문 리뷰] RealitySummary: Exploring On-Demand Mixed Reality Text Summarization and Question Answering using Large Language Models

Aditya Gunturu, Shivesh Jadon외 5명|arXiv (Cornell University)|2024. 05. 28.

Augmented Reality Applications인용 수 4

한 줄 요약

RealitySummary는 실시간으로 인식된 인쇄물 또는 디지털 문서의 내용을 추출하고 요약하며 보강하는 온디맨드 혼합현실(마이크로소프트 홀로렌즈 2 및 애플 비전 프로를 통해) 독서 보조 시스템을 제공한다. 이 시스템은 Google Cloud OCR와 GPT-4를 활용해 맵핑된 요약, 키워드 목록, 타임라인, 정보 카드를 실시간으로 생성하며, 사전 처리 없이도 동적이고 AI 기반의 문서 강화를 가능하게 한다. 사용자 연구를 통해 높은 사용성과 참여도를 입증하였다.

ABSTRACT

Large Language Models (LLMs) are gaining popularity as reading and summarization aids. However, little is known about their potential benefits when integrated with mixed reality (MR) interfaces to support everyday reading. In this iterative investigation, we developed RealitySummary, an MR reading assistant that seamlessly integrates LLMs with always-on camera access, OCR-based text extraction, and augmented spatial and visual responses. Developed iteratively, RealitySummary evolved across three versions, each shaped by user feedback and reflective analysis: 1) a preliminary user study to understand reader perceptions (N=12), 2) an in-the-wild deployment to explore real-world usage (N=11), and 3) a diary study to capture insights from real-world work contexts (N=5). Our empirical studies' findings highlight the unique advantages of combining AI and MR, including always-on implicit assistance, long-term temporal history, minimal context switching, and spatial affordances, demonstrating significant potential for future LLM-MR interfaces beyond traditional screen-based interactions.

연구 동기 및 목표

• 사전 처리 없이도 어떤 종이 문서나 디지털 문서라도 일반화 가능하고 온디맨드 방식의 혼합현실 독서 보조 시스템을 개발하는 것.
• 형성적 설계 연구를 통해 요약, 비교, 탐색과 같은 효과적인 문서 보강 기법을 식별하고 구현하는 것.
• 통제된 실험과 현장에서의 사용자 연구를 통해 AI 기반 혼합현실 문서 보강의 사용성과 실제 적용 가능성을 평가하는 것.
• 다중모달 입력(예: 음성, 시선)의 통합 및 향후 확장 기능(예: 다중 페이지 요약, 디지털 문서 연결) 탐색

제안 방법

• 실시간으로 물리적 또는 디지털 문서에서 텍스트와 이미지를 추출하기 위해 Google Cloud OCR과 OpenCV를 활용한다.
• 추출된 텍스트를 바탕으로 GPT-4를 사용해 요약, 키워드 목록, 비교 표, 타임라인, 정보 카드를 생성한다.
• 문서 이미지의 특징을 기반으로 마커리스 AR 추적을 통해 혼합현실에서 문서 주변에 증강 콘텐츠를 공간적으로 정렬하고 렌더링한다.
• 음성 인식 기반 명령어를 가능하게 하기 위해 Google의 음성-텍스트 변환 API를 통합한다.
• 홀로렌즈 2와 애플 비전 프로를 통해 생성된 콘텐츠를 문서 주변에 공간적 2D 캔버스 형태로 투영한다.
• OCR, LLM, AR 렌더링을 결합해 사전 준비 없이도 실시간으로 맥락 인식 기반 문서 보강을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다양한 문서 유형을 혼합현실을 통해 효과적이고 일반화 가능한 방식으로 보강하는 데 가장 효과적인 기법은 무엇인가?
• RQ2 사용자들은 실시간 혼합현실 환경에서 온디맨드로 생성된 AI 기반 문서 보강 콘텐츠와 어떻게 상호작용하는가?
• RQ3 혼합현실에서 실시간으로 온디맨드 방식의 문서 보강을 위해 OCR과 LLM을 구현할 때 기술적 및 사용성적 과제는 무엇인가?
• RQ4 다중모달 입력(예: 음성, 시선)은 AI 기반 독서 보조 시스템의 功能 및 적응 가능성에 어떻게 기여하는가?
• RQ5 실제 독서 상황에서 이러한 시스템의 장기적 사용성과 참여도는 어떠한가?

주요 결과

• 6명의 참가자와 함께 수행한 형성적 설계 연구를 통해 요약, 보강, 탐색, 비교, 추출의 5가지 핵심 문서 보강 유형을 식별하였으며, 이에 기반해 시스템에 6개의 핵심 기능을 구현하였다.
• 사용성 연구(N=12) 결과, 참가자들은 항상 케어되는, 암묵적인 상호작용 모델을 선호했으며, MR 콘텐츠의 공간적·물리적 성격이 참여도와 이해도를 크게 향상시켰다고 평가했다.
• 현장 연구(N=11)에서는 다양한 실제 독서 환경에서의 실용성을 입증하였으며, 준비되지 않은 문서에도 시스템의 적응성이 뛰어나다는 점을 사용자들이 높이 평가했다.
• 특히 저조도 조건에서 텍스트 전용 문서에서는 AR 추적의 불안정성이 관찰되어 현재 AR 추적의 강건성에 한계가 있음을 확인했다.
• 문서 품질에 따라 OCR 및 이미지 추적 성능이 변동하여 처리 지연과 정확도 저하가 발생할 수 있었다.
• 특수 전문 분야나 모호한 텍스트에서는 LLM이 생성한 콘텐츠에 오류가 발생하는 경우가 있었으며, 이는 향후 프롬프트 엔지니어링 개선 또는 도메인 특화 미세조정이 필요함을 시사한다.