[论文解读] As Content and Layout Co-Evolve: TangibleSite for Scaffolding Blind People's Webpage Design through Multimodal Interaction

Jiasheng Li, Zining Zhang+5 more|arXiv (Cornell University)|Feb 22, 2026

Tactile and Sensory Interactions被引用 0

一句话总结

论文研究盲人设计师如何在网页设计中对内容与布局进行共进化，并提出 TangibleSite，一种多模态的触觉界面，提供端到端网页创作的实时反馈。以盲人参与者的形成性研究来 informs 设计与原型评估。

ABSTRACT

Creating webpages requires generating content and arranging layout while iteratively refining both to achieve a coherent design, a process that can be challenging for blind individuals. To understand how blind designers navigate this process, we conducted two rounds of co-design sessions with blind participants, using design probes to elicit their strategies and support needs. Our findings reveal a preference for content and layout to co-evolve, but this process requires external support through cues that situate local elements within the broader page structure as well as multimodal interactions. Building on these insights, we developed TangibleSite, an accessible web design tool that provides real-time multimodal feedback through tangible, auditory, and speech-based interactions. TangibleSite enables blind individuals to create, edit, and reposition webpage elements while integrating content and layout decisions. A formative evaluation with six blind participants demonstrated that TangibleSite enabled independent webpage creation, supported refinement across content and layout, and reduced barriers to achieving visually consistent designs.

研究动机与目标

• 了解盲人设计师在网页创建过程中如何概念化并组织内容与布局。
• 识别有助于检测内容与布局冲突并维持页面级一致性的信息。
• 设计一个支持盲人网页作者对内容与布局进行整合编辑的工具。
• 开发 TangibleSite，提供实时多模态反馈与脚手架。
• 评估 TangibleSite 是否能够实现独立的网页创建与迭代改进。

提出的方法

• 进行两轮与盲人参与者的共设计会议，使用受 TangibleGrid 启发的触觉设计探针。
• 通过视频、音频转录和主题分析进行定性分析，以提取工作流和反馈需求。
• 开发 TangibleSite 作为可访问的多模态网页创作原型，具备触觉、音频和语音交互。
• 开展三轮盲人参与者的形成性评估，评估端到端的网页创建与 refinement。

实验结果

研究问题

• RQ1 RQ1: 盲人如何在网页创建过程中概念化并组织内容与布局的工作流程？
• RQ2 RQ2: 哪些信息有助于盲人检测局部内容与布局之间的冲突，并维持页面级的一致性？
• RQ3 RQ3: 作者工具应提供哪些功能和机制，以解决局部编辑的全局布局影响？

主要发现

• 盲人设计师偏好内容与布局的共进化，但复杂性降低灵活性并增加认知负荷。
• 非视觉工作流依赖触摸进行检查和规划，但需要清晰的交互模式与反馈以避免误解。
• 手部是监控与规划的主要通道，音频反馈用于解决内容–布局契合中的歧义。
• 关于内容容量与元素关系的明确、可执行的音频反馈高度期望，以降低记忆负担。
• TangibleSite 支持端到端设计，提供实时多模态反馈，帮助用户独立创建和改进页面。