[논문 리뷰] ML-Schema: Exposing the Semantics of Machine Learning with Schemas and Ontologies

Gustavo Publio, Diego Esteves외 6명|arXiv (Cornell University)|2018. 07. 14.

Statistical and Computational Modeling인용 수 32

한 줄 요약

ML-Schema는 W3C가 승인한 상위 수준의 온톨로지로, 기계학습 메타데이터—알고리즘, 데이터셋, 모델, 실험—의 표준화된 표현을 형식적 스키마와 온톨로지로 제공한다. 다양한 기계학습 플랫폼 간 의미적 상호운용성을 가능하게 하여 기계학습 워크플로우 및 결과의 재현성, 해석 가능성, 그리고 환경 간 교환성을 향상시킨다.

ABSTRACT

The ML-Schema, proposed by the W3C Machine Learning Schema Community Group, is a top-level ontology that provides a set of classes, properties, and restrictions for representing and interchanging information on machine learning algorithms, datasets, and experiments. It can be easily extended and specialized and it is also mapped to other more domain-specific ontologies developed in the area of machine learning and data mining. In this paper we overview existing state-of-the-art machine learning interchange formats and present the first release of ML-Schema, a canonical format resulted of more than seven years of experience among different research institutions. We argue that exposing semantics of machine learning algorithms, models, and experiments through a canonical format may pave the way to better interpretability and to realistically achieve the full interoperability of experiments regardless of platform or adopted workflow solution.

연구 동기 및 목표

• 다양한 플랫폼과 도구 간 기계학습 메타데이터의 의미 표준화 부족을 해결한다.
• 기계학습 컴포넌트를 표현하기 위한 정규화된, 확장 가능한 스키마를 정의하여 기계학습 시스템 간 상호운용성을 보장한다.
• 알고리즘, 데이터셋, 실험의 명시적 의미를 노출시켜 기계학습 모델의 해석 가능성과 신뢰도를 향상시킨다.
• OpenML 및 WASOTA와 같은 기존 온톨로지와 메타데이터 저장소와의 통합을 지원한다.
• MEX, OntoDM, DMOP와 같은 도메인 전용 어휘와의 정렬을 통해 기계학습 생태계 전반의 수직 및 수평적 상호운용성을 지원한다.

제안 방법

• 기계학습의 핵심 엔티티인 알고리즘, 데이터셋, 모델, 실험, 평가를 모델링하기 위해 OWL과 RDF를 사용한 상위 수준의 온톨로지 설계.
• Task, Algorithm, Model, Experiment, Run 등의 클래스와 속성의 계층적 구조를 형식적 의미론과 부분-관계/subclass 관계로 정의.
• 기존 도메인 전용 온톨로지(MEX, OntoDM, DMOP 등)와의 매핑을 통해 의미적 일치성과 재사용 가능성을 확보.
• 형식적 공리와 제약 조건을 사용하여 일관성 확보 및 기계학습 메타데이터에 대한 추론 기능 지원.
• 특정 기계학습 하위 도메인(예: 딥러닝)에 특화된 클래스와 속성의 전문화를 허용함으로써 확장성 제공.
• TTL/RDF와 같은 표준 형식을 통해 기계가 읽을 수 있는 메타데이터 교환을 지원하여 웹 서비스 및 저장소와의 통합 가능.

실험 결과

연구 질문

• RQ1 기계학습 메타데이터에 대한 정규화된 공통 스키마는 이질적인 기계학습 플랫폼 간 상호운용성을 어떻게 향상시킬 수 있는가?
• RQ2 통합 온톨로지가 알고리즘, 데이터셋, 모델, 실험 등의 기계학습 컴포넌트 의미를 어느 정도 정확하게 모델링할 수 있는가?
• RQ3 ML-Schema를 통한 의미 표준화가 기계학습 워크플로우의 해석 가능성과 추적 가능성 향상에 기여하는가?
• RQ4 ML-Schema는 OpenML, WASOTA 등과 같은 기존 기계학습 및 데이터 마이닝 온톨로지와 어떻게 상호운용되는가?
• RQ5 표준화된 스키마 사용이 도구 및 저장소 간 기계학습 실험의 재현성과 교환성에 미치는 영향은 어떠한가?

주요 결과

• ML-Schema는 데이터에서 모델 평가에 이르는 기계학습 실험의 전 주기를 표준화되고 확장 가능하며 기계가 읽을 수 있는 형식으로 제공한다.
• MEX, OntoDM, DMOP 등 여러 도메인 전용 온톨로지와의 매핑을 통해 수평적 상호운용성을 확보하여 의미적 일치를 보장한다.
• PROV-O 및 기타 증명서 모델과의 정렬을 통해 기계학습 실험의 완전한 추적 가능성을 지원하여 신뢰도와 재현성을 향상시킨다.
• OpenML 및 WASOTA와의 통합을 통해 표준화된 메타데이터 교환과 기계학습 생태계 내 데이터 관리 향상을 가능하게 한다.
• 초기 설정, 모델 특성, 평가 지표 등 기계학습 컴포넌트의 세분화된 표현을 지원하여 더 나은 해석 가능성을 제공한다.
• ML-Schema의 첫 번째 릴리스는 7년 이상의 협업 연구를 거쳐 도출되었으며, 실세계 기계학습 워크플로우에서의 성숙도와 실용성을 입증한다.