[논문 리뷰] Encog: Library of Interchangeable Machine Learning Models for Java and C#

Jeff Heaton|arXiv (Cornell University)|2015. 06. 15.

Machine Learning and Data Classification인용 수 33

한 줄 요약

Encog는 자바와 C#을 위한 다중 플랫폼, 오픈소스 기계학습 라이브러리로, 일관된 API를 통해 신경망, 서포트 벡터 머신(SVM), 회귀 알고리즘과 같은 다양한 모델을 상호 교환 가능하게 한다. 다중 스레딩 학습, 자동 데이터 정규화, 모델 선택 기능을 지원하여 현대 하드웨어에서 성능을 향상시키고 개발 시간을 크게 단축시킨다.

ABSTRACT

This paper introduces the Encog library for Java and C#, a scalable, adaptable, multiplatform machine learning framework that was 1st released in 2008. Encog allows a variety of machine learning models to be applied to datasets using regression, classification, and clustering. Various supported machine learning models can be used interchangeably with minimal recoding. Encog uses efficient multithreaded code to reduce training time by exploiting modern multicore processors. The current version of Encog can be downloaded from http://www.encog.org.

연구 동기 및 목표

• 자바와 C#에서 다양한 기계학습 모델을 위한 통합적이고 상호 교환 가능한 API를 제공한다.
• 현대의 다코어 프로세서를 활용하는 효율적인 다중 스레딩 학습을 가능하게 한다.
• 다양한 데이터 유형을 위한 자동 데이터 전처리, 정규화, 인코딩을 지원한다.
• 동일한 코드베이스를 사용해 다양한 모델을 빠르게 실험할 수 있도록 한다.
• 광범위한 테스트와 고유한 의사난수 생성기(PRNG)를 통해 자바와 C# 구현 간의 플랫폼 간 일관성을 확보한다.

제안 방법

• 피드포워드 네트워크, SVM, RBF 네트워크와 같은 모델을 일관된 객체 지향 API로 추상화하여 상호 교환 가능하게 한다.
• 다중 코어 시스템에서의 학습을 가속화하기 위해 다중 스레딩 알고리즘을 사용한다.
• 열 유형(연속형, 명목형, 순서형) 기반의 자동 데이터 분석 및 정규화를 구현하며, 범위 정규화와 z-스코어 정규화를 포함한다.
• 재현 가능한 모델 평가 및 검증을 보장하기 위해 고정된 난수 시드(1001)를 사용한 교차 검증을 적용한다.
• 최소 오차로 가장 우수한 성능을 보이는 모델을 식별하기 위해 5겹 교차 검증을 통한 모델 선택을 지원한다.
• 스토캐스틱 모델의 경우도 결정론적인 결과를 보장하기 위해 단위 테스트에서 고유한 의사난수 생성기(PRNG)를 사용한다.

실험 결과

연구 질문

• RQ1 자바와 C#에서 다양한 기계학습 모델을 위한 일관되고 상호 교환 가능한 API는 어떻게 설계할 수 있는가?
• RQ2 현대 하드웨어에서 다중 스레딩 학습은 기계학습 라이브러리의 성능 향상에 얼마나 기여하는가?
• RQ3 자동 데이터 전처리 및 정규화는 모델 정확도와 일관성 향상에 얼마나 효과적인가?
• RQ4 고정된 시드를 사용한 교차 검증은 다양한 실행 간 신뢰성 있고 재현 가능한 모델 평가를 보장할 수 있는가?
• RQ5 모델 상호 교환 가능성은 기계학습 응용 프로그램의 개발 시간 단축과 실험 향상에 어떻게 기여하는가?

주요 결과

• Encog의 다중 스레딩 구현은 타르히(2014)와 매트비크비크 및 파이타스(2012)의 실증적 검증을 통해 많은 유사한 자바 및 C# 라이브러리보다 더 빠른 학습을 가능하게 했다.
• 루하스즈 등(2013)과 라모스 폴란 등(2012)의 평가에서 Encog는 유사 프레임워크 대비 유리한 성능을 보였다.
• 고유한 PRNG의 사용으로 스트로케스틱 모델의 경우에도 결정론적인 테스트 결과를 확보하여 자바와 C# 플랫폼 간 재현 가능성을 향상시켰다.
• 고정된 시드(1001)를 사용한 교차 검증은 실행 간 일관된 검증 세트 분할을 보장하여 모델 비교의 신뢰도를 향상시켰다.
• 라이브러리의 API는 모델 교체를 최소한의 코드 변경으로 가능하게 하여, 전체 학습 파이프라인을 다시 정의할 필요 없이 모델 유형만 재정의하면 된다.
• Encog의 150개 이상의 예제와 포괄적인 문서는 시계열, 금융 모델링, 경로 탐색 등 다양한 응용 분야에서의 빠른 프로토타이핑을 지원한다.