[논문 리뷰] The Semantic Reader Project: Augmenting Scholarly Documents through AI-Powered Interactive Reading Interfaces

Kyle Lo, Joseph Chee Chang외 53명|arXiv (Cornell University)|2023. 03. 25.

AI in Service Interactions인용 수 7

한 줄 요약

Semantic Reader Project는 학술 PDF를 대상으로 AI-구동의 대화형 읽기 인터페이스를 개발하며, 열 가지 프로토타입, 300명 이상 참가자를 대상으로 한 사용성 연구, 생산형 리더를 제시하여 연구 논문의 발견성, 효율성, 이해, 종합 및 접근성을 개선합니다.

ABSTRACT

Scholarly publications are key to the transfer of knowledge from scholars to others. However, research papers are information-dense, and as the volume of the scientific literature grows, the need for new technology to support the reading process grows. In contrast to the process of finding papers, which has been transformed by Internet technology, the experience of reading research papers has changed little in decades. The PDF format for sharing research papers is widely used due to its portability, but it has significant downsides including: static content, poor accessibility for low-vision readers, and difficulty reading on mobile devices. This paper explores the question "Can recent advances in AI and HCI power intelligent, interactive, and accessible reading interfaces -- even for legacy PDFs?" We describe the Semantic Reader Project, a collaborative effort across multiple institutions to explore automatic creation of dynamic reading interfaces for research papers. Through this project, we've developed ten research prototype interfaces and conducted usability studies with more than 300 participants and real-world users showing improved reading experiences for scholars. We've also released a production reading interface for research papers that will incorporate the best features as they mature. We structure this paper around challenges scholars and the public face when reading research papers -- Discovery, Efficiency, Comprehension, Synthesis, and Accessibility -- and present an overview of our progress and remaining open challenges.

연구 동기 및 목표

• 발견성, 효율성, 이해, 종합 및 접근성 측면에서 학술 PDF가 독자들이 직면한 도전에 대응한다.
• AI와 HCI가 기존 PDF 위에 지능적이고 대화형이며 접근 가능한 읽기 인터페이스를 어떻게 만들어낼 수 있는지 조사한다.
• 연구자들의 읽기 경험을 향상시키기 위해 여러 프로토타입 인터페이스를 개발하고 평가한다.
• 생산 준비가 된 도구와 오픈 리소스를 제공하여 학술 읽기 영역의 더 넓은 도입과 지속적인 연구를 가능하게 한다.

제안 방법

• 논문용 AI-구동의 대화형 읽기 인터페이스의 열 가지 연구 프로토타입을 개발하다(예: CiteSee, CiteRead, Scim, Ocean, ScholarPhi, Paper Plain, Papeo, Threddy, Relatedly, SciA11y).
• 읽기 경험의 향상을 평가하기 위해 300명 이상 참가자를 대상으로 사용성 연구를 수행한다.
• 발견 및 협업을 지원하기 위해 Semantic Scholar 및 오픈 사이언스 리소스와 통합한다.
• 레이아웃 인식 문서 파싱과 대형 언어 모델을 활용하여 PDF 콘텐츠에 접근하고 보강한다.
• 성숙해짐에 따라 오픈 생산형 리더와 지속적인 기능을 제공한다.
• 다섯 가지 읽기 도전과제를 구조화된 관점으로 제시하고 여기에 프로토타입을 매핑한다.

Figure 1. The Semantic Reader Project consists of research, product, and open science resources. The Semantic Reader product 1 is a free interactive interface for research papers. It supports standard reading features (e.g., (A) table of contents), integration with Semantic Scholar (e.g., (B) save t

실험 결과

연구 질문

• RQ1 AI-구동의 대화형 읽기 인터페이스가 학술 논문의 발견, 효율성, 이해, 종합 및 접근성을 크게 개선할 수 있는가?
• RQ2 기존 PDF를 다양한 읽기 작업을 지원하는 동적이고 접근 가능한 표현으로 얼마나 효과적으로 변환할 수 있는가?
• RQ3 본문 내 인용, 주석 및 다중 모달 설명이 학술 읽기 워크플로를 향상시키는 데 어떤 역할을 하는가?
• RQ4 연구자들이 인터랙티브 도구를 사용하여 많은 논문에서 관련 연구를 종합해 일관된 개요를 형성하는 방법은?
• RQ5 향후 학술 읽기 인터페이스를 위한 AI와 HCI의 교차점에서 어떤 공개 연구 기회가 있는가?

주요 결과

• 핵심 읽기 과제를 해결하고 잠재적 이점을 보여주기 위해 열 가지 연구 프로토타입이 개발되었다.
• 300명 이상 참가자를 포함한 사용성 연구는 대상 작업 전반에서 향상된 읽기 경험을 시사한다.
• 생산용 Semantic Reader 인터페이스가 개발되었으며 성숙해짐에 따라 새로운 기능을 도입할 예정이다.
• 프로토타입 작업은 발견(CiteSee, CiteRead), 효율적 탐색(Scim, Ocean), 현장 내 설명(ScholarPhi, Paper Plain, Papeo), 그리고 합성(Threddy, Relatedly)의 진전을 보여준다.
• 본 프로젝트는 AI 기반 학술 읽기 인터페이스의 더 넓은 채택과 지속적 연구를 가능하게 하려면 오픈 사이언스 리소스를 강조한다.
• 이 노력은 새로운 문서 형식이 필요하지 않고 기존 PDF를 지능적이고 대화형 읽기 기능으로 보강하는 타당성을 강조한다.

Figure 2. CiteSee (Chang et al . , 2023 ) highlights citations to familiar papers (e.g., recently read or saved in their libraries) as well as unfamiliar papers to help readers avoid overlooking important citations when conducting literature reviews. Clicking on Expand surfaces additional context, s