[논문 리뷰] Simulation-based Optimization for Augmented Reading

Yunpeng Bai, Shengdong Zhao외 1명|arXiv (Cornell University)|2026. 02. 26.

Gaze Tracking and Assistive Technology인용 수 0

한 줄 요약

본 논문은 증강 읽기를 자원-합리적 독해 모델을 사용한 시뮬레이션 기반 최적화 문제로 설정하고, 시뮬레이션 독자를 활용하여 텍스트 인터페이스를 최적화하는 오프라인 및 온라인 파이프라인을 제시한다.

ABSTRACT

Augmented reading systems aim to adapt text presentation to improve comprehension and task performance, yet existing approaches rely heavily on heuristics, opaque data-driven models, or repeated human involvement in the design loop. We propose framing augmented reading as a simulation-based optimization problem grounded in resource-rational models of human reading. These models instantiate a simulated reader that allocates limited cognitive resources, such as attention, memory, and time under task demands, enabling systematic evaluation of text user interfaces. We introduce two complementary optimization pipelines: an offline approach that explores design alternatives using simulated readers, and an online approach that personalizes reading interfaces in real time using ongoing interaction data. Together, this perspective enables adaptive, explainable, and scalable augmented reading design without relying solely on human testing.

연구 동기 및 목표

• 독자의 맥락과 인지 제약에 맞게 텍스트 프레젠테이션을 조정하기 위한 증강 읽기를 촉진한다.
• UI 설계에 대한 원칙적 평가자로서 자원-합리적 읽기 모델을 도입한다.
• 사용자, 작업, 맥락 전반에 걸친 증강 읽기를 위한 디자인 공간을 정의한다.
• 시뮬레이션된 독자를 활용해 인터페이스를 평가하고 최적화하는 오프라인 및 온라인 최적화 파이프라인을 제안한다.
• 시뮬레이션이 대규모 인간 시험 없이도 확장 가능하고 설명 가능한 설계를 가능하게 하는 방법을 입증한다.

제안 방법

• 인지적 및 환경적 제약 하에서 증강 읽기를 최적화 문제로 프레이밍한다.
• 자원-합리적 읽기 모델을 사용하여 독자를 시뮬레이션하고 텍스트 UI 설계를 평가한다.
• 시뮬레이션된 독자를 활용한 프리배포 평가를 위한 오프라인 최적화를 설명한다.
• 진행 중인 상호작용 데이터를 활용한 실시간 개인화를 위한 온라인 최적화를 설명한다.
• 다양한 사용자를 모델링하기 위해 매개 변수를 변화시킬 수 있는 평가자로서 시뮬레이션된 독자를 다룬다.

Figure 1. Resource-rational reading models enable principled optimization of text user interfaces across a wide design space. ( Left ) A reading agent interacts with text-based user interfaces by allocating visual attention over time, guided by perceptual input, memory state, task objectives, and an

실험 결과

연구 질문

• RQ1 자원-합리적 읽기 모델을 어떻게 활용하여 증강 읽기를 위한 텍스트 UI를 평가하고 최적화할 수 있는가?
• RQ2 오프라인 및 온라인 시뮬레이션 기반 최적화 파이프라인이 증강 읽기 시스템의 적응성, 설명가능성 및 확장성을 개선할 수 있는가?
• RQ3 레이아웃, 주목도, 콘텐츠 로드 등의 설계 요소가 인지 제약과 어떻게 상호 작용하여 이해도와 효율성에 영향을 미치는가?
• RQ4 시뮬레이션된 독자가 다양한 사용자 프로필과 에지 케이스를 근접하게 모사하여 포용적 디자인을 지원할 수 있는가?
• RQ5 UI 최적화를 위한 대규모 인간 테스트 의존도를 줄이는 데 있어 시뮬레이션의 역할은 무엇인가?

주요 결과

• 시뮬레이션 기반 독자는 이해도, 노력, 시간 측면에서 대안 텍스트 프리젠테이션을 평가하는 원칙적 방법을 제공한다.
• 오프라인 최적화는 배포 전에 대규모 디자인 공간을 체계적으로 탐색할 수 있게 한다.
• 온라인 최적화는 읽기 중에 실시간으로 개인화된 UI 적응을 지원한다.
• 자원-합리적 모델은 멀티태스킹이나 인지 차이를 포함한 다양한 독자와 맥락을 나타내도록 조정될 수 있다.
• 이 접근법은 휴리스틱 및 순수하게 데이터 기반 방법에 대한 확장 가능하고 설명 가능한 대안을 제공한다.
• 프레임워크는 작업부하, 이해도, 안전성의 병목을 식별함으로써 타깃된 설계 개입을 이끌 수 있다.

Figure 2. Optimization paradigms for augmented reading. (a) Human-in-the-loop optimization. Traditional text UI design relies on human readers to generate behavioral data and feedback, making optimization costly and difficult to scale. (b) Simulation-based offline optimization. A simulated reading a