[논문 리뷰] HTM-MAT: An online prediction software toolbox based on cortical machine learning algorithm

V.I.E Anireh, Emmanuel N. Osegi|arXiv (Cornell University)|2017. 06. 28.

Machine Learning and ELM참고 문헌 8인용 수 3

한 줄 요약

HTM-MAT는 온라인 스파atiotemporal 시퀀스 예측을 위한 계층적 시간 기억(HTM)에 영감을 받은 콘크리트 학습 알고리즘(CLA)을 구현한 MATLAB 기반 소프트웨어 툴박스이다. OS-ELM 및 LSTM 기반의 recurrentjs와 같은 최신 모델들과 비교하여도 경쟁력 있는 성능을 보이며, 벤치마크 및 실제 시퀀스 데이터셋에서 OS-ELM를 능가함으로써 온라인 학습 환경에서의 효과성을 입증한다.

ABSTRACT

HTM-MAT is a MATLAB based toolbox for implementing cortical learning algorithms (CLA) including related cortical-like algorithms that possesses spatiotemporal properties. CLA is a suite of predictive machine learning algorithms developed by Numenta Inc. and is based on the hierarchical temporal memory (HTM). This paper presents an implementation of HTM-MAT with several illustrative examples including several toy datasets and compared with two sequence learning applications employing state-of-the-art algorithms - the recurrentjs based on the Long Short-Term Memory (LSTM) algorithm and OS-ELM which is based on an online sequential version of the Extreme Learning Machine. The performance of HTM-MAT using two historical benchmark datasets and one real world dataset is also compared with one of the existing sequence learning applications, the OS-ELM. The results indicate that HTM-MAT predictions are indeed competitive and can outperform OS-ELM in sequential prediction tasks.

연구 동기 및 목표

• 계층적 시간 기억(HTM) 및 관련 콘크리트 학습 알고리즘(CLA)을 구현하기 위한 유연하고 오픈소스의 MATLAB 툴박스 개발
• 생물학적으로 유사한 시공간 학습 메커니즘을 사용하여 시간적 시퀀스의 온라인 실시간 예측을 가능하게 하기
• HTM-MAT의 성능을 OS-ELM 및 LSTM 기반의 recurrentjs와 같은 기존의 시퀀스 학습 모델들과 비교하여 합성 및 실제 세계 데이터셋에서 평가하기
• 동적이고 순차적인 데이터를 다루는 온라인 학습 환경에서 CLA 기반 모델의 실현 가능성 입증하기

제안 방법

• HTM-MAT는 신경피질 미세순환구조에 영감을 받은 공간 기억층과 시간 기억층의 핵심 구성요소를 구현한다.
• 입력 패턴을 효율적이고 강력한 특징 탐지가 가능한 희소 분산 표현(SDR)으로 인코딩한다.
• 시간 기억에서는 승자독점(WTA) 학습 규칙을 사용하여 시간에 따라 예측 가능한 시퀀스를 형성한다.
• 증분적 가중치 갱신을 통해 온라인 학습을 달성하여, 재학습 없이도 새로운 데이터에 지속적으로 적응할 수 있다.
• 시퀀스 예측 작업을 위한 지도학습 및 비지도학습 모드를 모두 지원한다.
• 표준 평가 지표를 사용하여 벤치마크 데이터셋에서 성능 평가를 수행하며, 이는 순차적 예측 정확도 및 수렴 속도를 포함한다.

실험 결과

연구 질문

• RQ1 HTM-MAT는 OS-ELM 및 LSTM 기반의 recurrentjs와 같은 최신 온라인 학습 모델들과 비교해 시퀀스 데이터에서 경쟁 가능한 예측 정확도를 달성할 수 있는가?
• RQ2 HTM-MAT는 합성 토이 데이터셋과 실제 세계 시퀀스 데이터셋 모두에서 예측 안정성과 정확도 측면에서 어떻게 성능을 보이는가?
• RQ3 HTM-MAT의 생물학적으로 유사한 CLA 아키텍처는 온라인 및 증분 학습 환경에서 어떤 이점을 제공하는가?
• RQ4 HTM-MAT는 스트리밍 시간 데이터를 처리하는 데 있어 계산 효율성과 확장성은 어떠한가?

주요 결과

• HTM-MAT는 두 개의 역사적 벤치마크 데이터셋에서 경쟁 가능한 예측 성능을 달성하여 시퀀스 학습에서의 강건성과 일반화 능력을 입증했다.
• 실제 세계 데이터셋에서 HTM-MAT는 OS-ELM 모델보다 예측 정확도에서 뛰어난 성능을 보였으며, 동적 환경에서 뛰어난 학습 능력을 보여주었다.
• 스파티오토포럴 인코딩과 예측 기억 구조 덕분에, 제한된 학습 데이터 조건에서도 안정적인 수렴과 효과적인 학습이 가능했다.
• HTM-MAT는 합성 및 실제 세계 시퀀스를 포함한 다양한 테스트 시나리오에서 일관되게 뛰어난 성능을 보였다.
• 도구상자에서는 증분 업데이트를 통해 온라인 학습을 성공적으로 구현하여, 치명적인 잊힘 없이 실시간 적응이 가능했다.