[논문 리뷰] SeeReader: An (Almost) Eyes-Free Mobile Rich Document Viewer

Scott A. Carter, Laurent Denoue|ArXiv.org|2009. 09. 11.

Interactive and Immersive Displays참고 문헌 11인용 수 5

한 줄 요약

SeeReader는 텍스트 음성 변환(TTS)과 실시간 시각 콘텐츠 인식, 적응형 문서 표시를 결합하여 풍부한 문서를 거의 눈을 쓰지 않고 읽을 수 있도록 해주는 모바일 애플리케이션입니다. 이미지, 표, 다이어그램과 같은 중요한 시각적 요소들을 음성 신호로 알림으로써, 주변 환경에 대한 인지 능력을 유지하면서도 안전하고 지속적인 문서 소비를 가능하게 합니다.

ABSTRACT

Reading documents on mobile devices is challenging. Not only are screens small and difficult to read, but also navigating an environment using limited visual attention can be difficult and potentially dangerous. Reading content aloud using text-tospeech (TTS) processing can mitigate these problems, but only for content that does not include rich visual information. In this paper, we introduce a new technique, SeeReader, that combines TTS with automatic content recognition and document presentation control that allows users to listen to documents while also being notified of important visual content. Together, these services allow users to read rich documents on mobile devices while maintaining awareness of their visual environment.

연구 동기 및 목표

• 제한된 시각적 주의를 요구하는 작은 모바일 화면에서 풍부한 문서를 읽는 데 도전하는 문제를 해결한다.
• 이미지나 표와 같은 시각 콘텐츠를 忽시하는 전통적인 텍스트 음성 변환(TTS) 시스템의 한계를 극복한다.
• 모바일 기기에서 문서를 읽는 동안 주변 환경에 대한 인지 능력을 유지할 수 있도록 한다.
• TTS를 실시간 시각 인식 및 동적 콘텐츠 표시 제어와 통합하는 시스템을 개발한다.
• 이동 중이거나 다이나믹한 환경에서 모바일 사용자를 위한 풍부한 문서의 접근성과 사용성을 향상시킨다.

제안 방법

• 문서 콘텐츠를 음성으로 읽기 위해 텍스트 음성 변환(TTS) 처리를 통합한다.
• 실시간으로 이미지, 표, 차트와 같은 시각적 요소를 감지하고 분류하기 위해 자동 콘텐츠 인식을 사용한다.
• 감지된 시각 콘텐츠에 따라 음성 출력을 동적으로 조정하기 위해 문서 표시 제어를 구현한다.
• 중요한 시각적 요소가 감지될 경우 음성 알림을 트리거하여 사용자에게 비문자 콘텐츠 존재를 통보한다.
• 문서 탐색 중에 맥락 인지 능력을 유지하기 위해 TTS 출력과 시각 인식을 조율한다.
• 저지연성과 최소한의 사용자 상호작용을 확보하기 위해 모바일 배포를 고려해 시스템을 설계한다.

실험 결과

연구 질문

• RQ1 눈을 쓰지 않고 읽는 데 있어, 특히 시각적 주의가 필요한 환경에서 모바일 문서 읽기의 안전성과 접근성을 어떻게 향상시킬 수 있는가?
• RQ2 풍부한 문서의 시각 콘텐츠가 TTS 읽기 도중 음성 신호로 얼마나 정확하게 감지되고 전달될 수 있는가?
• RQ3 TTS와 시각 인식을 통합한 시스템이 복잡한 문서를 읽는 동안 사용자의 환경 인지 능력을 유지할 수 있는가?
• RQ4 시각 콘텐츠에 대한 음성 알림이 사용자 이해도와 작업 성과에 어떤 영향을 미치는가?
• RQ5 TTS와 시각 인식의 통합이 모바일 기기에서 눈을 쓰지 않고 문서 상호작용을 지원하는 데 얼마나 효과적인가?

주요 결과

• SeeReader는 사용자가 시각적 주의를 거의 기울이지 않고도 모바일 기기에서 풍부한 문서를 읽을 수 있도록 성공적으로 지원한다.
• 시스템은 이미지나 표와 같은 핵심 시각 요소를 음성 신호를 통해 효과적으로 감지하고 사용자에게 알린다.
• 사용자는 문서를 읽는 동안 주변 환경에 대한 인지 능력을 유지하여 방해나 사고의 위험을 줄인다.
• TTS와 시각 인식의 통합은 콘텐츠 무결성을 훼치지 않으면서 문서 접근성을 향상시킨다.
• 실생활 환경에서 눈을 쓰지 않고 문서를 읽는 데 실용적인 솔루션을 제시한다.
• 시스템은 음성 피드백과 콘텐츠 정확성 사이에 균형을 이루며, 모바일 사용 중 효과적인 이해도를 지원한다.