[논문 리뷰] An Easy to Use Repository for Comparing and Improving Machine Learning Algorithm Usage

Michael R. Smith, Andrew Dickson White외 2명|arXiv (Cornell University)|2014. 05. 28.

Machine Learning and Data Classification참고 문헌 15인용 수 9

한 줄 요약

이 논문은 기계학습 실험에서의 인스턴스 수준 예측을 저장하는 경량이며 접근하기 쉬운 데이터베이스인 기계학습 결과 레지스트리(MLRR)를 소개한다. 알고리즘, 초파rameter, 훈련 세트 및 인스턴스별 예측을 포함한 전체 실험 세부 정보를 유지함으로써 MLRR는 재현 가능한 메타학습, 알고리즘 비교 및 최소한의 설정 오버헤드로 향상된 모델 선택을 가능하게 한다.

ABSTRACT

The results from most machine learning experiments are used for a specific purpose and then discarded. This results in a significant loss of information and requires rerunning experiments to compare learning algorithms. This also requires implementation of another algorithm for comparison, that may not always be correctly implemented. By storing the results from previous experiments, machine learning algorithms can be compared easily and the knowledge gained from them can be used to improve their performance. The purpose of this work is to provide easy access to previous experimental results for learning and comparison. These stored results are comprehensive -- storing the prediction for each test instance as well as the learning algorithm, hyperparameters, and training set that were used. Previous results are particularly important for meta-learning, which, in a broad sense, is the process of learning from previous machine learning results such that the learning process is improved. While other experiment databases do exist, one of our focuses is on easy access to the data. We provide meta-learning data sets that are ready to be downloaded for meta-learning experiments. In addition, queries to the underlying database can be made if specific information is desired. We also differ from previous experiment databases in that our databases is designed at the instance level, where an instance is an example in a data set. We store the predictions of a learning algorithm trained on a specific training set for each instance in the test set. Data set level information can then be obtained by aggregating the results from the instances. The instance level information can be used for many tasks such as determining the diversity of a classifier or algorithmically determining the optimal subset of training instances for a learning algorithm.

연구 동기 및 목표

• 일반적으로 사용 후 폐기되는 접근 가능하고 재사용 가능한 기계학습 실험 결과의 부족을 해결하기 위해.
• 실험을 다시 실행하지 않고도 학습 알고리즘과 초파arameter를 비교할 수 있도록 하기 위해.
• 메타학습러를 훈련하고 평가하기 위해 포괄적인 인스턴스 수준 데이터를 제공함으로써 메타학습을 촉진하기 위해.
• 최소한의 설정 또는 데이터베이스 스키마 지식이 필요로 하지 않는 즉시 다운로드 가능한 메타데이터셋을 제공함으로써 메타학습의 진입 장벽을 낮추기 위해.
• 인스턴스 수준의 예측 저장을 통해 분류기 다양성 분석, 커리큘럼 학습 및 인스턴스의 어려움 특성화와 같은 고급 작업을 지원하기 위해.

제안 방법

• 기계학습 실험 결과를 인스턴스 수준에서 저장하며, 이는 예측, 학습 알고리즘, 초파arameter, 사용된 훈련 세트를 포함한다.
• 인스턴스 수준 데이터를 집계하여 데이터셋 수준의 메타특성과 성능 지표를 유도한다.
• 메타학습 작업을 위한 다운로드 가능한 메타데이터셋을 제공한다. 예를 들어 최적의 알고리즘 또는 초파arameter를 예측하는 데 사용된다.
• 지표화자(예: 결정 스텁, 평균 노드 학습자)를 사용하여 인스턴스 수준 분석을 위한 효율적이고 대표적인 메타특성을 계산한다.
• k-불일치 이웃, 분할 크기, 트리 깊이, 클래스 가능성, 소수성 값, 클래스 균형 등의 인스턴스 수준의 어려움 측정치를 통합한다.
• 엄격한 데이터베이스 스키마나 PMML 종속성을 피하고, 학습 곡선 없이 직접 사용할 수 있도록 접근성에 중점을 두어 설계되었다.

실험 결과

연구 질문

• RQ1 어떻게 기계학습 실험 결과를 저장하고 공유할 수 있을까? 이를 통해 메타학습에 대한 쉽게 재사용 가능한 방식을 확보할 수 있는가?
• RQ2 인스턴스 수준의 예측은 메타학습 모델의 정확성과 해석 가능성에 얼마나 기여하는가?
• RQ3 경량이며 접근 가능한 데이터베이스는 학습 알고리즘과 초파arameter를 비교하기 위해 필요한 노력의 양을 줄일 수 있는가?
• RQ4 인스턴스 수준의 어려움 측정치는 분류 어려움과 알고리즘 성능과 얼마나 관련이 있는가?
• RQ5 완전한 실험 증명(알고리즘, 초파arameter, 훈련 세트)을 저장하는 것이 재현 가능성과 벤치마킹에 어떤 영향을 미치는가?

주요 결과

• MLRR는 인스턴스별 예측, 초파arameter, 알고리즘, 훈련 세트를 포함한 즉시 다운로드 가능한 메타데이터셋을 제공하여 메타학습 실험에 직접 활용할 수 있도록 한다.
• 인스턴스 수준의 예측을 통해 분류기 다양성 측정(예: 분류기 출력 차이(COD) 지표) 및 어려운 분류 대상 인스턴스 식별과 같은 고급 분석이 가능해진다.
• k-불일치 이웃, 분할 크기, 클래스 가능성 등의 어려움 측정치는 인스턴스 수준의 어려움을 효과적으로 포착하며, 잘못 분류될 확률과 상관관계가 있다.
• 지표화자를 사용함으로써 계산 비용을 크게 줄이면서도 경쟁적인 성능 유지를 할 수 있다.
• MLRR는 예측 패턴을 통해 더 쉬운 인스턴스를 식별함으로써 커리큘럼 학습을 지원한다. 이는 점진적인 훈련 전략을 가능하게 한다.
• 레지스트리의 경량 설계 덕분에 기존의 데이터베이스나 PMML 기반 시스템에 비해 학습 곡선이 훨씬 낮아져 접근성과 확장성이 향상된다.