[논문 리뷰] Open science in machine learning

Joaquin Vanschoren, Mikio L. Braun외 1명|TU/e Research Portal|2014. 02. 24.

Machine Learning and Data Classification인용 수 8

한 줄 요약

이 논문은 연구자가 기계학습 데이터, 알고리즘, 실험 결과를 메타데이터, 재현 가능한 워크플로우, 표준화된 평가와 함께 공유할 수 있도록 해주는 오픈 사이언스 플랫폼인 OpenML과 mldata를 소개한다. 이를 통해 기계학습 연구의 투명성, 재현성, 협업이 향상된다.

ABSTRACT

We present OpenML and mldata, open science platforms that provides easy access to machine learning data, software and results to encourage further study and application. They go beyond the more traditional repositories for data sets and software packages in that they allow researchers to also easily share the results they obtained in experiments and to compare their solutions with those of others.

연구 동기 및 목표

• 공유 가능하고 재사용 가능한 기계학습 실험의 부족을 해결하기 위해 데이터, 코드, 결과를 위한 오픈 플랫폼을 구축함으로써.
• 세부 실험 메타데이터와 실행 추적 기록을 저장하여 기계학습 연구의 투명성과 재현성을 향상시키기 위해.
• 다양한 데이터셋에서 수천 개의 실험 결과를 집계하여 대규모 벤치마킹과 메타러닝을 가능하게 하기 위해.
• Weka, R, RapidMiner, KNIME와 같은 기존 기계학습 도구와의 원활한 통합을 통해 광범위한 도입을 가능하게 하기 위해.
• 다양한 데이터셋과 작업 간에 알고리즘과 파rameter 설정을 직접 비교할 수 있도록 해 협업 연구를 지원하기 위해.

제안 방법

• OpenML는 각 작업이 기계학습 문제를 정의하는 작업 기반 모델을 사용한다 (예: 데이터셋 Y에서 타겟 X를 예측). 이는 입력 데이터, 훈련/테스트 분할, 평가 지표를 포함한다.
• 실험은 작업, 알고리즘/워크플로우, 결과를 포함하는 '런'으로 제출되며, 하이퍼파ram터와 실행 환경에 대한 메타데이터가 포함된다.
• REST API를 통해 데이터, 작업, 구현, 결과의 프로그래밍 방식의 제출 및 검색이 가능하여 주요 ML 플랫폼과의 통합을 지원한다.
• mldata는 지도 학습 데이터를 위한 표준화된 HDF5 기반 파일 포맷을 지원하여 구조화된 메타데이터, 자동 형식 변환, 배열에 직접 접근할 수 있도록 한다.
• 두 플랫폼은 데이터, 작업, 알고리즘, 결과를 통합된 데이터베이스에 연결하여 실험 간 고급 쿼리, 시각화, 집계를 가능하게 한다.
• OpenML과 mldata는 플랫폼 간 데이터셋과 학습 방법의 공유를 가능하게 하여 상호 운용성과 데이터 재사용을 향상시키기 위해 통합되고 있다.

실험 결과

연구 질문

• RQ1 단순히 데이터와 코드를 넘어서 세부 실험 결과를 공유함으로써 기계학습 연구의 투명성과 재현성을 어떻게 향상시킬 수 있는가?
• RQ2 다양한 데이터셋과 작업 간에 대규모로 협업하는 기계학습 알고리즘의 벤치마킹을 가능하게 하기 위해선 어떤 인프라가 필요한가?
• RQ3 연구자가 여러 데이터셋에서 알고리즘 성능을 효율적으로 비교하면서 파rameter 효과와 모델 동작을 추적할 수는 있는가?
• RQ4 표준화된 메타데이터와 구조화된 워크플로우가 메타러닝과 실험 결과의 자동 분석을 어떻게 지원할 수 있는가?
• RQ5 기존 기계학습 도구는 자동 결과 공유와 재현 가능한 실행과 같은 오픈 사이언스 관행을 내재적으로 지원하기 위해 어떻게 확장될 수 있는가?

주요 결과

• OpenML는 표준화된 지표를 사용한 자동 평가를 통해 연구자가 대규모로 기계학습 실험을 제출하고 검색하며 비교할 수 있도록 한다.
• 이 플랫폼은 Weka, R, RapidMiner, KNIME와 같은 주요 도구와의 통합을 지원하여 일상 워크플로우 중 자동 결과 제출이 가능하다.
• OpenML는 각 알고리즘과 데이터셋에 대해 온라인 개요 페이지를 생성하여 모든 작업과 파rameter 설정에서의 성능을 요약한다.
• mldata는 지도 학습 데이터를 위한 표준화된 HDF5 기반 형식을 지원하여 구조화된 메타데이터와 자동 형식 변환을 가능하게 한다.
• OpenML과 mldata의 통합을 통해 두 플랫폼 간 데이터셋과 학습 방법의 원활한 공유가 가능해져 데이터 및 도구의 상호 운용성이 향상된다.
• 플랫폼은 SQL과 사전 정의된 템플릿을 통한 고급 쿼리 기능을 지원하여 연구자가 집계된 결과에서 직접 데이터 테이블, 산점도, 선 그래프를 생성할 수 있다.