[論文レビュー] Making Videos Accessible for Blind and Low Vision Users Using a Multimodal Agent Video Player

Adriana Olmos, Anoop Kumar Sinha+6 more|arXiv (Cornell University)|Feb 4, 2026

Tactile and Sensory Interactions被引用数 0

ひとこと要約

要約: 本論文は、BLVユーザーに対して対話的で自律的な映像視聴体験を提供するマルチモーダルエージェントビデオプレーヤー（MAVP）を提案し、ユーザースタディで検証する。

ABSTRACT

Video content remains largely inaccessible to blind and low-vision (BLV) users. To address this, we introduce a prototype that leverages a multimodal agent - powered by a novel conversational architecture using a multimodal large language model (MLLM) - to provide BLV users with an interactive, accessible video experience. This Multimodal Agent Video Player (MAVP) demonstrates that an interactive accessibility mode can be added to a video through multilayered prompt orchestration. We describe a user-centered design process involving 18 sessions with BLV users that showed that BLV users do not just want accessibility features, but desire independence and personal agency over the viewing experience. We conducted a qualitative study with an additional 8 BLV participants; in this, we saw that the MAVP's conversational dialogue offers BLV users a sense of personal agency, fostering collaboration and trust. Even in the case of hallucinations, it is meta-conversational dialogues about AI's limitations that can repair trust.

研究の動機と目的

• マルチモーダルエージェント技術を通じて、映像コンテンツに対話型のアクセシビリティモードを追加できることを示す。
• マルチモーダル大規模言語モデル（MLLM）と対話型アーキテクチャが、BLVユーザーの映像コンテンツの制御・理解をどう支援するかを調査する。
• BLV参加者を対象とした質的研究を通じて、MAVPシステムにおけるユーザーの独立感、主体性、信頼を評価する。
• AIの制限についてのメタ対話が、AIの幻覚がある場合にも信頼を修復する可能性を探る。

提案手法

• 映像視聴中の対話的インタラクションのためにマルチモーダルLMMを統合したプロトタイプMAVPを開発する。
• 映像プレーヤー内の対話型アクセシビリティモードを作成するため、階層的なプロンプトオーケストレーションを用いる。
• 独立性と主体性に関する質的洞察を得るため、18セッションのBLV中心設計プロセスを実施する。
• 認識された主体性、協働、および信頼を評価するため、追加の質的研究を8名のBLV参加者で実施する。
• AIの制限に関する対話が信頼とユーザー満足度にどのように影響するかを分析する。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルエージェントビデオプレーヤーは、BLVユーザーに視聴体験に対する独立感や個人的な主体性を提供できるか。
• RQ2 MAVPの対話的対話はBLVユーザーとAIアシスタントの協働と信頼を促進するか。
• RQ3 AIの制限に関するメタ対話は、インタラクティブな映像アクセス中のユーザー信頼に影響を与えるか。
• RQ4 映像再生のアクセシビリティと自律性を改善するために、ユーザーセッションからどのような設計上の洞察が得られるか。

主な発見

• BLVユーザーは、単なるアクセシビリティ機能ではなく、独立性と個人的な主体性を求めている。
• MAVPの対話的対話はBLVユーザーとの協働感と信頼を促進する。
• AIの制限についてのメタ対話は、システムが幻覚を生じても信頼を修復するのに役立つ可能性がある。
• BLV参加者を対象としたユーザー中心設計プロセスは、映像プレーヤーの対話的アクセシビリティに関する実用的洞察を生み出す。