[논문 리뷰] Making Videos Accessible for Blind and Low Vision Users Using a Multimodal Agent Video Player

Adriana Olmos, Anoop Kumar Sinha외 6명|arXiv (Cornell University)|2026. 02. 04.

Tactile and Sensory Interactions인용 수 0

한 줄 요약

이 논문은 다중모달 에이전트 비디오 플레이어(MAVP)를 제시합니다. 다중모달 LLM과 대화형 아키텍처를 활용해 시각장애인 BLV 사용자에게 상호작용적이고 자율적인 동영상 시청 경험을 제공하며, 사용자 연구를 통해 검증되었습니다.

ABSTRACT

Video content remains largely inaccessible to blind and low-vision (BLV) users. To address this, we introduce a prototype that leverages a multimodal agent - powered by a novel conversational architecture using a multimodal large language model (MLLM) - to provide BLV users with an interactive, accessible video experience. This Multimodal Agent Video Player (MAVP) demonstrates that an interactive accessibility mode can be added to a video through multilayered prompt orchestration. We describe a user-centered design process involving 18 sessions with BLV users that showed that BLV users do not just want accessibility features, but desire independence and personal agency over the viewing experience. We conducted a qualitative study with an additional 8 BLV participants; in this, we saw that the MAVP's conversational dialogue offers BLV users a sense of personal agency, fostering collaboration and trust. Even in the case of hallucinations, it is meta-conversational dialogues about AI's limitations that can repair trust.

연구 동기 및 목표

• 다중모달 에이전트 기술을 통해 비디오 콘텐츠에 상호작용 가능한 접근성 모드를 추가할 수 있음을 시연한다.
• 다중모달 대형 언어 모델(MLLM)과 대화형 아키텍처가 BLV 사용자가 비디오 콘텐츠를 제어하고 이해하는 데 어떻게 도움을 주는지 조사한다.
• BLV 참가자를 대상으로 한 질적 연구를 통해 MAVP 시스템에서 사용자가 느끼는 독립성, 자율성, 신뢰를 평가한다.
• AI 한계에 대한 메타 대화가 AI 환각이 있을 때 신뢰 회복에 어떻게 기여하는지 탐구한다.

제안 방법

• 비디오 시청 중 대화 상호작용을 위한 다중모달 LLM을 통합한 프로토타입 MAVP를 개발한다.
• 비디오 플레이어 내에서 상호작용 가능한 접근성 모드를 만들기 위해 다층 프롬프트 오케스트레이션을 활용한다.
• 독립성과 자율성에 관한 질적 통찰을 얻기 위해 18회의 BLV 세션을 포함하는 사용자 중심 디자인 과정을 수행한다.
• 지각된 자율성, 협력, 신뢰를 평가하기 위해 8명의 BLV 참가자를 대상으로 추가 질적 연구를 수행한다.
• AI 한계에 대한 대화가 신뢰와 사용자 만족도에 어떤 영향을 미치는지 분석한다.

실험 결과

연구 질문

• RQ1 다중모달 에이전트 비디오 플레이어가 BLV 사용자에게 시청 경험에 대한 독립성과 개인적 자율성을 제공할 수 있는가?
• RQ2 MAVP의 대화형 대화가 BLV 사용자와 AI 어시스턴트 간의 협력과 신뢰를 촉진하는가?
• RQ3 AI 한계에 대한 메타 대화가 대화형 비디오 접근 중 사용자 신뢰에 어떤 영향을 미치는가?
• RQ4 비디오 재생에서 접근성과 자율성을 향상시키기 위해 사용자 세션에서 어떤 디자인 인사이트가 도출되는가?

주요 결과

• BLV 사용자는 단순한 접근성 기능이 아니라 독립성과 개인적 자율성을 원한다.
• MAVP의 대화형 대화가 BLV 사용자와의 협력 및 신뢰를 촉진한다.
• AI 한계에 대한 메타 대화는 시스템이 환각을 보일 때에도 신뢰 회복에 도움이 될 수 있다.
• BLV 참가자를 대상으로 한 사용자 중심 디자인 과정은 비디오 플레이어의 인터랙티브한 접근성에 대한 실행 가능한 인사이트를 제공한다.