[论文解读] Conversations for Vision: Remote Sighted Assistants Helping People with Visual Impairments

Sooyeon Lee, Madison Reddie+5 more|arXiv (Cornell University)|Dec 1, 2018

Tactile and Sensory Interactions参考文献 7被引用 3

一句话总结

本研究探讨了通过Aira这一基于视频的服务，为视觉障碍人士（PVI）提供远程视觉协助的模式。研究识别出四种关键支持类型——场景描述、导航、表现支持和社会互动，表明有效的协作依赖于情境敏感的对话风格、相互信任，以及整合非语言线索（如手势）和提议的文本/触觉反馈，以提升信息传递效果。

ABSTRACT

People with visual impairment (PVI) must interact with a world they cannot see. Remote sighted assistance has emerged as a conversational/social support system. We interviewed participants who either provide or receive assistance via a conversational/social prosthetic called Aira (https://aira.io/). We identified four types of support provided: scene description, performance, social interaction, and navigation. We found that conversational style is context-dependent. Sighted assistants make intentional efforts to elicit PVI's personal knowledge and leverage it in the guidance they provide. PVI used non-verbal behaviors (e.g. hand gestures) as a parallel communication channel to provide feedback or guidance to sighted assistants. We also discuss implications for design.

研究动机与目标

• 理解远程人类代理有效协助视觉障碍人士（PVI）所需的沟通与互动动态。
• 考察代理在不同情境和任务中信息呈现方式的差异。
• 识别面向PVI与视觉协助者定制的对话式用户界面和协作技术的设计启示。

提出的方法

• 通过深度访谈收集PVI用户和Aira代理的见解，了解真实世界中的使用情况。
• 分析互动过程中使用的对话模式、反馈机制以及非语言行为（例如手势）。
• 探讨在四种领域（物品描述、导航、表现支持和社会互动）中支持需求的情境差异。
• 识别关键设计原则，如相互信任、适应性，以及利用个人知识和偏好以实现沟通定制化。
• 提出改进方案，包括引入基于文本的消息和单向触觉反馈作为并行通信渠道。
• 评估通过人际知识、领域知识和协助知识建立共同理解的作用，以支持协作。

实验结果

研究问题

• RQ1 远程人类代理要有效协助PVI，需要怎样的沟通与互动？
• RQ2 代理的信息呈现方式应如何根据情境、任务或用户目标而有所不同？
• RQ3 这些发现对设计对话式用户界面和PVI-视觉协作技术有何启示？

主要发现

• PVI主要在四种情境下使用远程视觉协助：场景描述、导航、表现支持和社会互动。
• 视觉协助者会根据情境调整对话风格，并有意识地利用PVI的个人知识以提升引导效果。
• PVI使用手势等非语言线索作为并行通信通道，在互动中提供反馈或指导。
• PVI与代理均强调相互信任、尊重和适应性是成功远程协作的关键要素。
• 对额外非语言通信渠道（如文本消息和单向触觉反馈）有强烈需求，以提升信息传递速度并降低认知负荷。
• 代理通过描述社交线索来支持PVI的社会意识，表明远程协助不仅限于实际任务，还可延伸至社会融合。