[論文レビュー] Augmenting Scholarly Reading with Cross-Media Annotations

Qi Xu, Beat Signer|VUBIR (Vrije Universiteit Brussel)|Mar 18, 2026

Digital Humanities and Scholarship被引用数 0

ひとこと要約

論文はPDFのハイライトを外部リソース（音声、動画、ウェブページ）へリンクするクロスメディア注釈ツールを設計し、アーキテクチャ・対話デザイン・潜在的な利点を説明します。

ABSTRACT

Scholarly reading often involves engaging with various supplementary materials beyond PDFs to support understanding. In practice, scholars frequently incorporate such external materials into their reading workflow through annotation. However, most existing PDF annotation tools support only a limited range of media types for embedding annotations in PDF documents. This paper investigates cross-media annotation as a design space for augmenting academic reading. We present a design exploration of a cross-media annotation tool that allows scholars to easily link PDF content with other documents and materials such as audio, video or web pages. The proposed design has the potential to enrich reading practices and enable scholars to guide and support other researchers' reading experiences.

研究の動機と目的

• PDF以外のクロスメディア注釈が学術的読書に必要な理由を動機づける。
• PDFコンテンツを多様な外部リソースへリンクする、一般的で拡張可能な設計を提案する。
• ドラッグ＆ドロップを用いたクロスメディア注釈の作成と現場での閲覧のための対話パターンを示す。
• クロスメディア注釈のためのリソース・セレクタ・リンクの抽象化をサポートするアーキテクチャを概説する。
• 初読・再読・協同注釈の潜在的な利点を論じる。

提案手法

• PDFビューアと統合されたクロスメディア注釈ツールのデザイン探求を提示する。
• PDFコンテンツから外部リソースへのシームレスなリンクと読書中の容易なアクセスという二つの原則を設置する。
• ドラッグ＆ドロップ操作を通じてクロスメディア注釈を作成・閲覧する代表的な利用シナリオを説明する。
• Resources, Selectors, and Linksを含むRSLメタモデルに基づくクロスメディア注釈フレームワークをPDFベースの学術読書へ拡張する。
• PDFレンダリングのオーバーレイ、外部アプリへのプラグインインターフェース、RSL概念を公開するRESTバックエンドを備えたフロントエンド／バックエンドアーキテクチャを提案する。
• ハイライトに注目度を合わせたマージンベースのレンダリングと近接感知カラーコード戦略を示唆する。

Figure 1. The central PDF viewer serves as the primary space for reading and annotation, while external materials consulted during reading are displayed on both sides (web pages and videos on the left, other PDF documents on the right). Scholars can highlight content in the main PDF that requires ad

実験結果

リサーチクエスチョン

• RQ1 学術読書中に、クロスメディア注釈をPDF内容と多様な外部資源（音声、動画、ウェブ）へ一般化してリンクするにはどうすればよいか。
• RQ2 内容の重複を避けつつ、現場でのレンダリングと注釈管理を可能にするアーキテクチャ・対話パターンは何か。
• RQ3 1対多のクロスメディア注釈を、スケーラブルで使いやすい方法でどうサポートするか。
• RQ4 初読・再読・他者と注釈を共有する際のクロスメディア注釈の設計上の利点は何か。
• RQ5 将来の研究でAI支援の推奨をどのように組み込むことができるか。

主な発見

• ドラッグ＆ドロップでPDFハイライトを多様な外部材料へ接続し、現場の余白ベースのポップアップを生成できる。
• デザインは1対多のリンクをサポートし、単一のハイライトが複数の資源（例：ウェブページと動画）を参照できる。
• リソース・セレクタ・リンクを用いたRSLメタモデルに基づくアーキテクチャは、資源間で非重複の埋め込みコンテンツを実現する。
• ハイライトとリンクされた資料との関連を色相と空間的近接の複合的な視覚エンコードで識別しやすくする。
• このアプローチは初読・再読・協同利用において、文脈豊かな注釈を整理・想起・共有することで利点をもたらす。

Figure 2. Cross-media annotation tool architecture