[논문 리뷰] As Content and Layout Co-Evolve: TangibleSite for Scaffolding Blind People's Webpage Design through Multimodal Interaction

Jiasheng Li, Zining Zhang외 5명|arXiv (Cornell University)|2026. 02. 22.

Tactile and Sensory Interactions인용 수 0

한 줄 요약

본 논문은 시각 장애 디자이너가 웹페이지 설계에서 콘텐츠와 레이아웃을 공동적으로 진화시킬 수 있는 방법을 조사하고, 실시간 피드백을 제공하는 다중 모드 Tangible UI인 TangibleSite를 소개합니다. 시각 장애 참가자를 대상으로 한 형성 연구가 프로토타입의 설계 및 평가에 정보를 제공합니다.

ABSTRACT

Creating webpages requires generating content and arranging layout while iteratively refining both to achieve a coherent design, a process that can be challenging for blind individuals. To understand how blind designers navigate this process, we conducted two rounds of co-design sessions with blind participants, using design probes to elicit their strategies and support needs. Our findings reveal a preference for content and layout to co-evolve, but this process requires external support through cues that situate local elements within the broader page structure as well as multimodal interactions. Building on these insights, we developed TangibleSite, an accessible web design tool that provides real-time multimodal feedback through tangible, auditory, and speech-based interactions. TangibleSite enables blind individuals to create, edit, and reposition webpage elements while integrating content and layout decisions. A formative evaluation with six blind participants demonstrated that TangibleSite enabled independent webpage creation, supported refinement across content and layout, and reduced barriers to achieving visually consistent designs.

연구 동기 및 목표

• 시각 장애 디자이너가 웹페이지 작성 중 콘텐츠와 레이아웃을 어떻게 개념화하고 조직하는지 이해한다.
• 콘텐츠와 레이아웃 간의 충돌을 탐지하고 페이지 수준의 일관성을 유지하는 데 도움이 되는 정보를 식별한다.
• 시각 장애 웹 작성자를 위한 콘텐츠와 레이아웃의 통합 편집을 지원하는 도구를 설계한다.
• 실시간 다중 모드 피드백과 발판을 제공하도록 TangibleSite를 개발한다.
• TangibleSite가 독립적인 웹페이지 생성 및 반복적 개선을 가능하게 하는지 평가한다.]
• method
• Conduct two rounds of co-design sessions with blind participants using a tangible design probe inspired by TangibleGrid.
• Perform qualitative analysis through video, audio transcripts, and thematic analysis to extract workflows and feedback needs.
• Develop TangibleSite as an accessible multimodal web authoring prototype with tangible, audio, and speech interactions.
• Carry out a formative evaluation with six blind participants to assess end-to-end webpage creation and refinement.

제안 방법

• TangibleGrid에서 영감을 받은 유형적 디자인 프로브를 사용하여 시각 장애 참가자와 함께 두 차례의 공동 설계 세션을 수행한다.
• 워크플로우와 피드백 필요를 추출하기 위해 영상, 음성 기록, 주제 분석을 통한 질적 분석을 수행한다.
• 실물 기반, 오디오, 음성 상호작용을 갖춘 접근 가능한 다중 모드 웹 저작 프로토타입으로 TangibleSite를 개발한다.
• 끝에서 끝까지의 웹페이지 작성과 개선을 평가하기 위해 여섯 명의 시각 장애 참가자를 대상으로 형성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 RQ1: 시각 장애인이 웹페이지 작성 중 콘텐츠와 레이아웃의 워크플로우를 어떻게 개념화하고 조직하는가?
• RQ2 RQ2: 지역 콘텐츠와 레이아웃 간의 충돌을 식별하고 페이지 수준의 일관성을 유지하는 데 도움이 되는 정보는 무엇인가?
• RQ3 RQ3: 로컬 편집의 전역 레이아웃 결과를 해결하기 위해 저작 도구가 어떤 기능과 메커니즘을 제공해야 하는가?

주요 결과

• 시각 장애 디자이너는 콘텐츠와 레이아웃의 공동 진화를 선호하지만, 복잡성은 유연성을 감소시키고 인지 부하를 증가시킨다.
• 비시각적 워크플로우는 검사 및 계획을 위해 촉각에 의존하지만 오해를 피하기 위해 명확한 상호작용 모드와 피드백이 필요하다.
• 손은 모니터링 및 계획의 기본 채널이며, 콘텐츠–레이아웃 적합성의 모호성을 해소하기 위해 오디오 피드백이 사용된다.
• 콘텐츠 용량과 요소 간 관계에 대한 명시적이고 실행 가능한 오디오 피드백이 기억 부담을 줄이기 위해 강하게 선호된다.
• TangibleSite는 실시간 다중 모드 피드백과 함께 종단 간 디자인을 지원하여 사용자가 독립적으로 페이지를 생성하고 다듬도록 돕는다.