[논문 리뷰] Augmenting Scholarly Reading with Cross-Media Annotations

Qi Xu, Beat Signer|VUBIR (Vrije Universiteit Brussel)|2026. 03. 18.

Digital Humanities and Scholarship인용 수 0

한 줄 요약

이 논문은 PDF 하이라이트를 외부 자원(오디오, 비디오, 웹 페이지)과 연결하여 학술 독서를 풍부하게 하는 크로스미디어 주석 도구를 설계하고 있으며, 아키텍처, 상호작용 디자인 및 잠재적 이점을 설명한다.

ABSTRACT

Scholarly reading often involves engaging with various supplementary materials beyond PDFs to support understanding. In practice, scholars frequently incorporate such external materials into their reading workflow through annotation. However, most existing PDF annotation tools support only a limited range of media types for embedding annotations in PDF documents. This paper investigates cross-media annotation as a design space for augmenting academic reading. We present a design exploration of a cross-media annotation tool that allows scholars to easily link PDF content with other documents and materials such as audio, video or web pages. The proposed design has the potential to enrich reading practices and enable scholars to guide and support other researchers' reading experiences.

연구 동기 및 목표

• 학술 독서에서 PDF를 넘어선 크로스미디어 주석의 필요성을 제기한다.
• PDF 콘텐츠를 다양한 외부 자원에 연결하기 위한 일반적이고 확장 가능한 설계를 제안한다.
• 직관적으로 크로스미디어 주석을 현장에서 생성하고 조회하기 위한 상호작용 패턴(드래그 앤 드롭)을 시연한다.
• 크로스미디어 주석을 위한 리소스, 셀렉터, 링크 추상화를 지원하는 아키텍처를 개요한다.
• 초기 독서, 재독, 공동 주석에 대한 잠재적 이점을 논의한다.

제안 방법

• PDF 뷰어와 통합된 크로스미디어 주석 도구의 설계 탐구를 제시한다.
• 설계를 두 가지 원칙에 뿌리둔: PDF 콘텐츠에서 외부 자원으로의 매끄러운 연결과 읽는 중 해당 자원에 대한 용이한 접근.
• 드래그 앤 드롭 상호작용을 통해 크로스미디어 주석을 생성하고 탐색하는 대표적인 사용 시나리오를 설명한다.
• 자원(Resources), 선택자(Selectors), 링크(Links)를 포함하는 기존의 크로스미디어 주석 프레임워크(RSL 메타모델)를 PDF 기반 학술 읽기에 확장한다.
• PDF 렌더링 오버레이, 외부 앱에 대한 플러그인 인터페이스, 그리고 RSL 개념을 노출하는 REST 백엔드를 갖춘 프런트엔드/백엔드 아키텍처를 제안한다.
• 주석을 하이라이트와 연관시키기 위한 여백 기반, 근접성 인식 렌더링 및 색상 코딩 전략을 제안한다.

Figure 1. The central PDF viewer serves as the primary space for reading and annotation, while external materials consulted during reading are displayed on both sides (web pages and videos on the left, other PDF documents on the right). Scholars can highlight content in the main PDF that requires ad

실험 결과

연구 질문

• RQ1 학술 독서 중에 크로스메디어 주석을 일반적으로 PDF 콘텐츠와 다양한 외부 자원(오디오, 비디오, 웹)에 연결하는 방법은 무엇인가?
• RQ2 콘텐츠를 중복하지 않고 현장에서 렌더링 및 관리하는 데 필요한 어떤 아키텍처 및 상호작용 패턴이 있는가?
• RQ3 일대다 크로스미디어 주석을 확장성 있고 사용자 친화적인 방식으로 어떻게 지원할 수 있는가?
• RQ4 초기 독서, 재독, 타인과 주석을 공유하는 데 있어 크로스미디어 주석의 설계상 이점은 무엇인가?
• RQ5 향후 연구에서 AI 지원 추천으로 접근을 어떻게 확장할 수 있는가?

주요 결과

• 크로스미디어 주석 도구는 드래그 앤 드롭을 통해 PDF 하이라이트를 다양한 외부 자료와 연결하고 현장에서도 여백 기반의 팝업을 생성할 수 있다.
• 설계는 일대다 링크를 지원하여 하나의 하이라이트가 여러 자원을 참조하도록 한다(예: 웹 페이지와 비디오).
• RSL 메타모델(Resource, Selector, Link)에 기반한 아키텍처는 자원 간에 중복되지 않는 포함된 콘텐츠를 가능하게 한다.
• 색상 색조와 공간적 근접성을 결합한 시각적 인코딩 전략은 사용자가 하이라이트와 연결된 자료 간의 연관성을 식별하는 데 도움이 된다.
• 이 접근 방식은 맥락이 풍부한 주석을 정리하고 회상하며 공유함으로써 초기 읽기, 재읽기 및 협업 사용에 이점을 제공한다.

Figure 2. Cross-media annotation tool architecture