[논문 리뷰] Rethinking the production and publication of machine-reusable expressions of research findings

Markus Stocker, Lauren E. Snyder외 7명|arXiv (Cornell University)|2024. 05. 21.

Scientific Computing and Data ManagementDecision Sciences인용 수 3

한 줄 요약

이 논문은 Open Research Knowledge Graph(ORKG)를 사용하여 데이터 분석 워크플로우에 직접 기계로 재사용 가능한 과학 지식을 통합하는 'reborn'이라는 사전 출판 프레임워크를 소개한다. 기존의 출판 후 추출 방식이 아닌, 지식 생성 과정에서부터 발견 결과를 FAIR하고 의미적으로 주석 처리된 데이터로 구조화함으로써, 기존의 수동 또는 반자동 출판 후 방법에 비해 더 높은 정확도, 더 rich한 지식 표현, 더 간단한 기술 통합을 달성한다.

ABSTRACT

Literature is the primary expression of scientific knowledge and an important source of research data. However, scientific knowledge expressed in narrative text documents is not inherently machine reusable. To facilitate knowledge reuse, e.g. for synthesis research, scientific knowledge must be extracted from articles and organized into databases post-publication. The high time costs and inaccuracies associated with completing these activities manually has driven the development of techniques that automate knowledge extraction. Tackling the problem with a different mindset, we propose a pre-publication approach, known as reborn, that ensures scientific knowledge is born reusable, i.e. produced in a machine-reusable format during knowledge production. We implement the approach using the Open Research Knowledge Graph infrastructure for FAIR scientific knowledge organization. We test the approach with three use cases, and discuss the role of publishers and editors in scaling the approach. Our results suggest that the proposed approach is superior compared to classical manual and semi-automated post-publication extraction techniques in terms of knowledge richness and accuracy as well as technological simplicity.

연구 동기 및 목표

• 출판 후 지식 추출 방식의 한계를 해결하기 위해, 이는 시간이 많이 소요되고 오류가 많으며 종종 불완전하기 때문이다.
• 연구자가 논문 출판 후가 아니라 데이터 분석 과정에서 지식을 생성할 수 있도록 하여, 기계로 재사용 가능한 과학 지식을 창출할 수 있도록 한다.
• ORKG 인프라를 활용해 연구 워크플로우에 직접 구조화되고 의미적으로 풍부한 데이터를 통합함으로써 과학 지식의 FAIR성 향상.
• 기존의 수동 또는 반자동 출판 후 추출에 의존하는 것을 줄이기 위해 지식 구조화를 주 연구 과정에 통합한다.
• 출판사와 편집자가 학술 커뮤니케이션 전반에서 사전 출판 기반 기계로 재사용 가능한 지식 생산의 확산을 지원하는 데서 수행할 수 있는 역할을 탐색한다.

제안 방법

• ORKG의 Python 및 R 라이브러리를 사용하여 통계 계산 환경(예: Python, R)에 기계로 재사용 가능한 지식 생성을 통합함으로써 데이터 프레임 통합을 원활하게 한다.
• ORKG 템플릿을 사용한 LATEX 기반 저자 작성 방식을 통해 논문 준비 과정에서 연구 결과(예: 데이터셋, 지표, 점수)를 의미적으로 풍부한 기계로 읽을 수 있는 데이터로 주석 처리하고 구조화한다.
• 보조 데이터(예: 코드, 그림, 표)를 DOI 메타데이터를 통해 'IsSupplementTo' 및 'HasPart' 관계로 연결된 구조화된 JSON-LD 파일로 배포한다.
• 보조 데이터의 장기적 가용성과 상호 연결성을 보장하기 위해 TIB Leibniz Data Manager를 중심화되고 지속 가능한 저장소로 활용한다.
• 기사의 DOI 또는 디렉터리 경로를 사용하여 ORKG의 REST 및 SPARQL API를 통해 구조화된 데이터를 수확할 수 있도록 하며, 생산 및 샌드박스 환경을 모두 지원한다.
• Crossref 메타데이터 표준을 활용한 양방향 상호 연결을 통해 기사와 데이터 간의 연결을 가능하게 하며, 기계로 탐색 가능한 기능을 향상시키기 위해 선택적 'is-supplemented-by' 관계를 제공한다.

Figure 1: Scientific knowledge expressed in articles is produced as machine-reusable data in computing environments during the data analysis phase of the research lifecycle. Machine-reusable scientific knowledge is deposited in a data repository as supplementary data of the article and interlinked w

실험 결과

연구 질문

• RQ1 기계로 재사용 가능한 형식으로 사전 출판 단계에서 과학 지식을 구조화하는 것이 출판 후 방법에 비해 정확도와 지식 표현의 풍부함을 향상시키는가?
• RQ2 존재하는 연구 관행을 방해하지 않으면서 기계로 재사용 가능한 과학 지식을 데이터 분석 워크플로우에 직접 통합할 수 있는 방법은 무엇인가?
• RQ3 출판사와 편집자는 학술 커뮤니케이션 전반에서 사전 출판 기반 기계로 재사용 가능한 지식 구조화의 확산을 위해 어떤 역할을 할 수 있는가?
• RQ4 사전 출판 지식 구조화가 시스템적 리뷰와 같은 종합 연구에 필요한 시간과 노력을 어느 정도 줄일 수 있는가?
• RQ5 기존의 DOI 및 메타데이터 인프라를 활용하여 지속적이고 상호운용 가능하며 FAIR 기준을 충족하는 데이터를 신뢰성 있게 게재하고 탐색할 수 있는 방법은 무엇인가?

주요 결과

• 세 가지 실제 사례를 통해, 출판 후 추출 방식에 비해 더 높은 정확도와 더 풍부한 구조적 특성을 가진 지식을 'reborn' 방식이 생산함을 입증하였다.
• 분석 과정에서 생성된 기계로 재사용 가능한 데이터는 ORKG의 Python 및 R 라이브러리와 천연적으로 호환되어 데이터 프레임에 직접 통합되어 후속 분석에 활용할 수 있다.
• DOI 기반의 기사와 보조 JSON-LD 데이터 간의 상호 연결은 표준 API(예: DataCite의 REST 인터페이스)를 사용하여 프로그래밍 방식으로 수확 가능한 연구 데이터를 신뢰성 있게 탐색할 수 있도록 한다.
• TIB Leibniz Data Manager에 기판된 보조 데이터는 CC0 1.0 Universal 라이선스 하에 게재되어 개방형, 지속적이고 재사용 가능한 접근성을 보장한다.
• 이 방법은 ORKG 기여물의 생산 및 샌드박스 배포를 모두 지원하지만, 환경 간 템플릿 호환성을 확보하기 위해서는 템플릿을 ORKG의 내부 식별자 체계에서 분리시켜야 한다.
• ORKG 및 그 구성 요소는 MIT 라이선스 하에 배포되며, 소스 코드와 데이터는 GitLab에서 공개하고 여러 공개 API를 통해 접근 가능하다.

Figure 2: Display of the research finding published by Gentsch et al. in their Figure 1 as a research contribution in ORKG. The overlay expands on the interlinked R script snippet used to implement the respective data analysis. For an interactive experience, we refer readers to the version published