[論文レビュー] HTM-MAT: An online prediction software toolbox based on cortical machine learning algorithm

V.I.E Anireh, Emmanuel N. Osegi|arXiv (Cornell University)|Jun 28, 2017

Machine Learning and ELM参考文献 8被引用数 3

ひとこと要約

HTM-MAT は、オンラインで時空間的系列予測を実行するための、階層的時系列記憶（HTM）にインspiredされた皮質学習アルゴリズム（CLA）を実装した MATLAB ベースのソフトウェアツールボックスです。OS-ELM や LSTM を用いた recurrentjs といった最先端のモデルと比較しても競争力のある性能を示し、ベンチマークおよび実世界の系列データセットにおいて OS-ELM を上回り、オンライン学習の場面での有効性を裏付けました。

ABSTRACT

HTM-MAT is a MATLAB based toolbox for implementing cortical learning algorithms (CLA) including related cortical-like algorithms that possesses spatiotemporal properties. CLA is a suite of predictive machine learning algorithms developed by Numenta Inc. and is based on the hierarchical temporal memory (HTM). This paper presents an implementation of HTM-MAT with several illustrative examples including several toy datasets and compared with two sequence learning applications employing state-of-the-art algorithms - the recurrentjs based on the Long Short-Term Memory (LSTM) algorithm and OS-ELM which is based on an online sequential version of the Extreme Learning Machine. The performance of HTM-MAT using two historical benchmark datasets and one real world dataset is also compared with one of the existing sequence learning applications, the OS-ELM. The results indicate that HTM-MAT predictions are indeed competitive and can outperform OS-ELM in sequential prediction tasks.

研究の動機と目的

• 階層的時系列記憶（HTM）および関連する皮質学習アルゴリズム（CLA）を実装するための柔軟でオープンソースの MATLAB ツールボックスを開発すること。
• 生物学的にインスパイアされた時空間的学習メカニズムを用いて、オンラインでリアルタイムの時系列予測を可能にすること。
• 合成データおよび実世界のデータセットを用いて、OS-ELM や LSTM を用いた recurrentjs（LSTM ベース）といった既存の系列学習モデルと比較して、HTM-MAT の性能を評価すること。
• 動的で順次的なデータを扱うオンライン学習環境において、CLA ベースのモデルの実用性を示すこと。

提案手法

• HTM-MAT は、新皮質マイクロサーキュイトにインspiredされた空間的・時間的記憶層を含む、皮質学習アルゴリズム（CLA）のコアコンponents を実装しています。
• 入力パターンの符号化にスパース分散表現（SDR）を用いることで、効率的で頑健な特徴検出が可能になります。
• 時間的記憶部では、勝者-全員（WTA）学習ルールを採用し、時間的経過に伴う予測的系列を形成します。
• 逐次的な重み更新によりオンライン学習を実現し、再訓練を必要とせずに継続的に新しいデータに適応できるようにしています。
• 本ツールボックスは、系列予測タスクに適した教師ありおよび教師なし学習モードを両方サポートしています。
• パフォーマンス評価は、標準的な指標を用いてベンチマークデータセットで実施され、系列予測の正確性および収束速度が測定されています。

実験結果

リサーチクエスチョン

• RQ1 HTM-MAT は、OS-ELM や LSTM を用いた recurrentjs といった最先端のオンライン学習モデルと比較して、系列データに対する予測精度を競争力を持って達成できるか？
• RQ2 合成トイデータセットと比較して、実世界の系列データセットにおいて、HTM-MAT の予測の安定性と正確性はどのように評価されるか？
• RQ3 HTM-MAT に組み込まれた生物学的にインスパイされた CLA アーキテクチャは、オンラインで逐次的な学習の場面で利点を示すか？
• RQ4 HTM-MAT は、ストリーミング時系列データを処理する際の計算効率およびスケーラビリティに優れているか？

主な発見

• HTM-MAT は2つの歴史的ベンチマークデータセットで競争力ある予測性能を達成し、系列学習における頑健性と一般化能力を示しました。
• 実世界のデータセットにおいて、HTM-MAT は予測精度の面で OS-ELM モデルを上回り、動的環境における優れた学習能力を示しました。
• スパティオトロピカル符号化と予測記憶構造のおかげで、限られた学習データでも安定した収束と効果的な学習が実現しました。
• HTM-MAT の性能は、合成データと実世界の両方の系列に対して一貫して高く、複数のテストシナリオで安定した結果を示しました。
• 本ツールボックスは、継続的更新によるオンライン学習を成功裏に実装し、深刻な忘却を伴わずにリアルタイムでの適応が可能でした。