[논문 리뷰] GURLS: a Least Squares Library for Supervised Learning

Andrea Tacchetti, Pavan Kumar Mallapragada외 2명|arXiv (Cornell University)|2013. 03. 05.

Machine Learning and Algorithms참고 문헌 5인용 수 42

한 줄 요약

GURLS는 중간 및 대규모 데이터셋에서 빠르고 확장 가능한 훈련과 모델 선택을 가능하게 하는 모듈식이고 오픈소스의 최소제곱법 라이브러리로, 정규화된 최소제곱법(RLS)을 활용한다. 이는 전통적인 SVM에 비해 훨씬 빠른 훈련 시간으로 최신 기술 수준의 정확도를 달성한다. 이 라이브러리는 원시형 및 이중형 공식화, 다중출력 학습, 메모리 매핑 저장, 분산 계산을 지원하며, 특히 랜덤 특징 근사 기법을 사용할 경우 뛰어난 성능을 발휘한다.

ABSTRACT

We present GURLS, a least squares, modular, easy-to-extend software library for efficient supervised learning. GURLS is targeted to machine learning practitioners, as well as non-specialists. It offers a number state-of-the-art training strategies for medium and large-scale learning, and routines for efficient model selection. The library is particularly well suited for multi-output problems (multi-category/multi-label). GURLS is currently available in two independent implementations: Matlab and C++. It takes advantage of the favorable properties of regularized least squares algorithm to exploit advanced tools in linear algebra. Routines to handle computations with very large matrices by means of memory-mapped storage and distributed task execution are available. The package is distributed under the BSD licence and is available for download at https://github.com/CBCL/GURLS.

연구 동기 및 목표

• 대규모 및 고차원 데이터를 지원하는 빠르고 모듈식이며 확장 가능한 기계학습 소프트웨어 라이브러리 개발
• 특히 다중출력 및 다중클래스 문제에 대해 빅데이터 환경에서의 효율적 훈련과 모델 선택의 증가하는 요구에 대응
• 최소한의 종속성으로 Matlab 및 C++ 구현을 모두 지원하는 통합적이고 사용하기 쉬운 인터페이스 제공
• 메모리 매핑 저장 및 분산 작업 실행을 통해 대규모 데이터셋에서의 메모리 효율적 계산 지원
• LS-SVM 및 LIBSVM과 같은 기존 방법보다 정확도와 훈련 속도에서 뛰어나며, 특히 커널 근사 기법을 사용할 경우 성능을 뛰어넘기

제안 방법

• 라이브러리는 정규화된 최소제곱법(RLS)에 기반하여 학습을 선형 시스템을 푸는 것으로 단순화함으로써 고급 선형 대수 도구의 효율적 활용을 가능하게 한다.
• 원시형 및 이중형 공식화를 모두 지원하여 샘플 수와 특징 수의 상대적 크기에 따라 최적의 성능을 달성할 수 있다.
• 시스템은 작업이 공유 옵션 구조를 통해 전달되는 GURLScore 엔진을 통해 연결되는 파이프라인 아키텍처를 사용한다.
• 큰 행렬의 메모리 매핑 저장을 통해 전체 메모리 로딩을 방지함으로써 메모리 효율성을 확보한다.
• 다중 프로세스에 걸쳐 행렬 연산을 분할하는 작업 관리자를 통해 분산 계산을 지원하여 대규모 데이터셋의 스케일러블 처리를 가능하게 한다.
• RBF 커널 학습의 계산 비용을 줄이기 위해 랜덤 특징 근사를 구현하여 훈련 시간을 크게 단축시키면서도 정확도 손실를 최소화한다.

실험 결과

연구 질문

• RQ1 최소제곱법 기반 라이브러리가 대규모 학습 문제에서 전통적인 SVM에 비해 훨씬 빠른 훈련 속도를 확보하면서도 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ2 RBF 커널 학습에서 계산 비용을 줄이기 위해 랜덤 특징 근사를 사용할 경우 정확도 손실 없이 얼마나 효과적인가?
• RQ3 메모리 매핑 및 분산 계산을 통해 가용 RAM을 초월하는 데이터셋의 효율적 처리가 어느 정도 가능한가?
• RQ4 GURLS의 모듈식이고 파이프라인 기반 설계가 기계학습 전문가가 아닌 사용자에게도 확장성과 사용 용이성을 얼마나 잘 제공하는가?
• RQ5 RLS와 고급 최적화 전략(예: 랜덤화 솔버, 정규화 경로 계산)의 조합이 다중출력 및 고차원 환경에서 뛰어난 성능을 낼 수 있는가?

주요 결과

• GURLS의 선형 원시형 공식화는 optdigits 데이터셋에서 0.49초만에 92.3%의 정확도를 달성했으며, 동일 작업에 7190초가 소요된 LS-SVM보다 뛰어난 성능을 보였다.
• GURLS에서 500개의 랜덤 특징을 사용한 결과, optdigits 데이터셋에서 25.6초의 훈련 시간에 96.8%의 정확도를 달성했으며, RBF 커널 버전은 13,500초가 소요된 것에 비해 훨씬 빠른 속도를 기록했다.
• isolet 데이터셋에서 GURLS의 RBF 커널은 100,600초의 훈련 시간에 98.4%의 정확도를 기록했으며, 이는 LS-SVM의 98.36% 정확도와 유사했고, 훈련 시간은 20% 감소했다.
• C++ 구현체(GURLS++)는 Matlab 버전보다 뚜렷이 빠른 성능을 보였으며, 예측 정확도는 동일하여 저수준 최적화의 성능 향상을 입증했다.
• GURLS의 랜덤 특징 근사 기법은 SVM과 유사한 성능을 달성했지만, 훨씬 낮은 계산 비용을 요구하여 대규모 응용 분야에 매우 적합하다.
• GURLS는 고정된 400점 그리드를 사용한 그리드 서치를 통해 데이터셋 간 일관된 결과를 도출했으며, LS-SVM의 경우 그리드 크기가 변동하고 최대 70점으로 제한되어 있어, GURLS의 하이퍼파ram터 튜닝 효율성이 뛰어나다는 점을 시사한다.