[논문 리뷰] A maturity model for catalogues of semantic artefacts

Óscar Corcho, Fajar J. Ekaputra외 5명|arXiv (Cornell University)|2023. 05. 11.

Big Data and Business Intelligence참고 문헌 33인용 수 4

한 줄 요약

이 논문은 학술 및 연구 인프라에서의 의미적 자료(예: 온톨로지, 어휘, 메타데이터 스키마 등) 카탈로그 평가를 위한 12차원 성숙도 모델을 제안한다. 주요 초점은 거버넌스, 상호운용성, 장기적 지속 가능성이다. 전문가 평가를 통해 26개의 실제 카탈로그를 검토한 결과, 메타데이터, 개방성, PID, 투명성 등의 차원에서 측정 가능한 43개의 특징을 포함하며, FAIR 및 오픈 과학 준수를 위한 표준화된 프레임워크를 제공한다.

ABSTRACT

This work presents a maturity model for assessing catalogues of semantic artefacts, one of the keystones that permit semantic interoperability of systems. We defined the dimensions and related features to include in the maturity model by analysing the current literature and existing catalogues of semantic artefacts provided by experts. In addition, we assessed 26 different catalogues to demonstrate the effectiveness of the maturity model, which includes 12 different dimensions (Metadata, Openness, Quality, Availability, Statistics, PID, Governance, Community, Sustainability, Technology, Transparency, and Assessment) and 43 related features (or sub-criteria) associated with these dimensions. Such a maturity model is one of the first attempts to provide recommendations for governance and processes for preserving and maintaining semantic artefacts and helps assess/address interoperability challenges.

연구 동기 및 목표

• 학술 및 연구 인프라에서 의미적 자료 카탈로그에 대한 표준화된 평가 프레임워크의 부족을 해결하기 위해.
• 의미적 자료 카탈로그의 품질, 지속 가능성, 상호운용성에 영향을 주는 핵심 차원과 특징을 규명하기 위해.
• 체계적인 평가 모델을 제공하여 의미적 자료의 거버넌스 및 장기적 보존을 지원하기 위해.
• 다양한 도메인과 기술 스택에서 기존 카탈로그의 벤치마킹과 개선을 가능하게 하기 위해.
• FAIR 원칙 및 유럽 오픈 과학 클라우드(EOSC)의 상호운용성 목표 이행에 기여하기 위해.

제안 방법

• 성숙도 모델은 다양한 기관과 도메인에서 온 12명의 전문가가 참여한 다단계 전문가 검토 과정을 통해 개발되었다.
• 각 리뷰어가 2~3개의 카탈로그를 초도 평가하여 12개의 차원에서 총 63개의 잠재적 특징을 도출하였으며, 이는 반복적인 보완과 통합을 통해 정제되었다.
• 특징들은 반복적인 토론을 통해 검증되고, 중복되거나 관련성이 없는 항목은 통합 또는 제거되어 최종적으로 43개의 특징으로 도출되었다.
• 모델는 온토포털, 올스, 스카스모스 등 다양한 기술과 적용 분야를 반영한 실제 26개의 카탈로그에 적용되었다.
• 12개 탭(각 차원별로 1개)을 가진 구조화된 스프레드시트를 사용하여 특징 기록, 리뷰어 배정, 평가 및 코멘트 기록을 수행하였다.
• 데이터와 성숙도 모델 자체는 투명성과 재사용성을 확보하기 위해 저지노에 PDF, CSV, XSLX 형식으로 공개되었다.

실험 결과

연구 질문

• RQ1 의미적 자료 카탈로그의 성숙도 평가에 있어 가장 핵심적인 차원과 특징은 무엇인가?
• RQ2 표준화된 성숙도 모델이 의미적 자료 카탈로그의 거버넌스, 지속 가능성, 상호운용성 향상에 어떻게 기여할 수 있는가?
• RQ3 기존 카탈로그들이 개방성, 투명성, PID 지원 등의 핵심 차원에서 성숙도 모델이 정의한 기준을 어느 정도 충족하는가?
• RQ4 다양한 기술적 배경과 학문 분야에서 의미적 자료 카탈로그 평가를 위한 공동 평가 프레임워크를 정의하기 위해 전문가의 합의를 어떻게 달성할 수 있는가?
• RQ5 성숙도 모델은 FAIR 원칙과 유럽 오픈 과학 클라우드(EOSC) 상호운용성 프레임워크를 뒷받침하는 데 어떤 역할을 하는가?

주요 결과

• 성숙도 모델은 메타데이터, 개방성, 품질, 가용성, 통계, PID, 거버넌스, 커뮤니티, 지속 가능성, 기술, 투명성, 평가 등 총 12개의 핵심 차원을 규명하였으며, 각 차원은 구체적이고 측정 가능한 특징을 포함한다.
• 평가한 26개 카탈로그 중 오직 15%만이 기술한 의미적 자료의 복제본을 보관하고 있어 장기적 보존 측면에서 심각한 격차를 드러낸다.
• 26개 카탈로그 중 단 4개만이 개방소스 기반의 일반적인 소프트웨어를 사용하여 배포하고 있어, 기반 기술의 재사용성과 투명성 측면에서 한계가 있다.
• 최종적으로 도출된 43개의 특징은 初기 63개의 특징에서 전문가 검토와 통합을 통해 유도되었으며, 평가의 명확성과 일관성을 보장한다.
• 성숙도 모델은 디지털 인문학, 생명과학, 사회과학 등 다양한 분야의 카탈로그에 성공적으로 적용되어 광범위한 적용 가능성을 입증하였다.
• 모든 데이터, 즉 모델 및 평가 결과가 저지노에 여러 형식으로 공개되어 재현 가능성과 재사용성을 보장하였다.