[논문 리뷰] Recommending Learning Algorithms and Their Associated Hyperparameters

Michael R. Smith, Logan Mitchell외 2명|arXiv (Cornell University)|2014. 07. 07.

Machine Learning and Data Classification참고 문헌 17인용 수 8

한 줄 요약

이 논문은 수동으로 선택된 메타특성에 의존하지 않고 이전 실험 성능을 활용하여 최적의 머신러닝 알고리즘과 하이퍼파rameter를 추천하는 새로운 메타학습 접근법인 메타-협업필터링(MCF)을 제안한다. MCF는 기존 메타학습보다 뛰어난 성능을 보이며, Auto-WEKA와 유사한 정확도를 달성하지만 더 효율적이며 특성 공학의 필요성을 피한다.

ABSTRACT

The success of machine learning on a given task dependson, among other things, which learning algorithm is selected and its associated hyperparameters. Selecting an appropriate learning algorithm and setting its hyperparameters for a given data set can be a challenging task, especially for users who are not experts in machine learning. Previous work has examined using meta-features to predict which learning algorithm and hyperparameters should be used. However, choosing a set of meta-features that are predictive of algorithm performance is difficult. Here, we propose to apply collaborative filtering techniques to learning algorithm and hyperparameter selection, and find that doing so avoids determining which meta-features to use and outperforms traditional meta-learning approaches in many cases.

연구 동기 및 목표

• 특정 데이터셋에 대해 최적의 학습 알고리즘과 하이퍼파ram터를 선택하는 데 어려움을 해결하기 위해, 특히 전문가가 아닌 사용자를 대상으로 한다.
• 기존 메타학습 접근법에서 예측 가능한 메타특성을 선택하는 데 어려움을 극복하기 위해.
• 과거 실험 결과를 활용하여 명시적인 특성 공학 없이도 알고리즘과 하이퍼파aram터를 추천할 수 있는 방법을 개발하기 위해.
• 과거 성능에 기반한 협업필터링이 콘텐츠 기반 메타학습보다 알고리즘 및 하이퍼파라미터 추천에서 더 나은 성능을 내는지 평가하기 위해.

제안 방법

• 과거 실험 결과의 알고리즘-하이퍼파라미터 조합에 대해 협업필터링(CF) 기법—기본값, 퍼지 K-평균, 행렬 분해(MF), NLPCA, 비지도 백프로파게이션—을 적용한다.
• 각 데이터셋을 '사용자'로, 각 알고리즘-하이퍼파라미터 구성은 '항목'으로 간주하고, 성능 정확도를 '평가'로 간주한다.
• 희소성 기반 평가를 수행: 과거 결과의 10%에서 90%까지 무작위로 제거하고, CF 기법을 사용해 누락된 정확도를 예측한다.
• 예측 성능 기반으로 상위 4개의 알고리즘-하이퍼파라미터 조합을 추천하고, 가장 높은 예측 정확도를 가진 것을 선택한다.
• 10초 이내에 협업필터를 재학습하여 새로운 데이터셋에 신속하게 적응할 수 있다.
• MCF의 성능을 기본 하이퍼파라미터 설정, 랜덤 하이퍼파라미터 최적화, 메타특성 기반 메타학습과 비교한다.

실험 결과

연구 질문

• RQ1 메타특성에 의존하지 않고 과거 실험 성능에 기반한 협업필터링이 최적의 학습 알고리즘과 하이퍼파라미터를 효과적으로 추천할 수 있는가?
• RQ2 수동으로 수작업한 메타특성을 사용하는 전통적 메타학습 방법과 비교해 MCF는 정확도에서 얼마나 뛰어나게 되는가?
• RQ3 역사적 데이터의 양이 증가함에 따라(MCF 성능이 낮은 희소성에서) MCF 성능이 향상되는가?
• RQ4 Auto-WEKA와 같은 최신 자동 머신러닝 도구와 비교해 MCF의 추천 정확도는 어떠한가?
• RQ5 낮은 재학습 오버헤드와 빠른 추론을 고려할 때, MCF는 실용적으로 효과적으로 구현될 수 있는가?

주요 결과

• 행렬 분해(MF)는 모든 CF 기법 중에서 가장 높은 평균 정확도를 기록했으며, 70% 데이터 사용 시 82.44%, 90% 데이터 사용 시 82.65%의 정확도를 달성했다.
• MCF는 기본 하이퍼파라미터 설정(81.93% 정확도)과 알고리즘 별 랜덤 하이퍼파라미터 최적화보다 유의미하게 뛰어난 성능을 보였다.
• 모든 희소성 수준에서 MCF는 평균 정확도 81.95%와 최고 성능 82.12%를 기록했으며, 메타학습 기준선(78.91%)을 초월했다.
• MF 기반 MCF 성능은 데이터 가용성 증가에 따라 향상되었으며, 10% 데이터 사용 시 80.49%에서 90% 사용 시 82.65%로 상승했다.
• MCF는 평균 16개의 구성을 평가하는 Auto-WEKA와 유사한 정확도(82.00%)를 달성했지만, 훨씬 낮은 계산 오버헤드를 보였다.
• 협업필터를 재학습하는 데 10초 미만이 소요되어, 과거 실험 데이터베이스를 갖춘 실생활 구현에 실용적이다.