[論文レビュー] Encog: Library of Interchangeable Machine Learning Models for Java and C#

Jeff Heaton|arXiv (Cornell University)|Jun 15, 2015

Machine Learning and Data Classification被引用数 33

ひとこと要約

Encogは、JavaおよびC#向けのマルチプラットフォームでオープンソースの機械学習ライブラリであり、一貫したAPIを通じて、ニューラルネットワーク、SVM、回帰アルゴリズムなどの多様なモデルを相互に交換可能に利用できる。マルチスレッドでの学習、自動データ正規化、モデル選択をサポートしており、現代のハードウェア上で開発時間を著しく短縮し、パフォーマンスを向上させる。

ABSTRACT

This paper introduces the Encog library for Java and C#, a scalable, adaptable, multiplatform machine learning framework that was 1st released in 2008. Encog allows a variety of machine learning models to be applied to datasets using regression, classification, and clustering. Various supported machine learning models can be used interchangeably with minimal recoding. Encog uses efficient multithreaded code to reduce training time by exploiting modern multicore processors. The current version of Encog can be downloaded from http://www.encog.org.

研究の動機と目的

• JavaおよびC#における複数の機械学習モデルのための統一的で相互に交換可能なAPIを提供すること。
• 現代のマルチコアプロセッサを活用する効率的なマルチスレッド学習を可能にすること。
• 多様なデータタイプに対応する自動データ前処理、正規化、エンコーディングをサポートすること。
• 同じコードベースで異なるモデルを迅速に実験できるようにすること。
• 広範なテストと独自のPRNGを用いて、JavaとC#の実装間のクロスプラットフォーム一貫性を確保すること。

提案手法

• フィードフォワードネットワーク、SVM、RBFネットワークなどのモデルを、一貫したオブジェクト指向APIに抽象化することで、モデルの相互交換を可能にする。
• マルチコアシステムでの学習を高速化するため、マルチスレッドアルゴリズムを採用する。
• 列のタイプ（連続値、名義尺度、順序尺度）に基づいた自動的なデータ分析と正規化を実装し、範囲正規化やzスコア正規化を含む。
• 再現性のあるモデル評価と検証を保証するため、固定された乱数シード（1001）を用いた交差検証を適用する。
• 5分割交差検証を用いて、最小の誤差で最も優れたパフォーマンスを示すモデルを特定するモデル選択をサポートする。
• 確率的モデルのための決定論的結果を保証するため、ユニットテストで独自の擬似乱数生成器（PRNG）を採用する。

実験結果

リサーチクエスチョン

• RQ1 JavaおよびC#において、多様な機械学習モデルに対して一貫した相互交換可能なAPIを設計するにはどうすればよいか？
• RQ2 現代のハードウェア上で、マルチスレッド学習が機械学習ライブラリのパフォーマンスにどの程度向上効果をもたらすか？
• RQ3 自動データ前処理および正規化は、モデルの精度と一貫性を向上させるためにどの程度効果的か？
• RQ4 固定シード（1001）を用いた交差検証は、異なる実行間で信頼性があり再現可能なモデル評価を保証できるか？
• RQ5 モデルの相互交換性は、機械学習アプリケーションにおける開発時間を短縮し、実験を効率化できるか？

主な発見

• Encogのマルチスレッド実装は、Taheri（2014年）およびMatviykivとFaitas（2012年）による実証的評価で、同様のJavaおよびC#ライブラリよりも高速な学習を実現している。
• Luhaszら（2013年）およびRamos-Pollánら（2012年）による評価において、同様のフレームワークと比較して良好なパフォーマンスを示した。
• 独自のPRNGの使用により、確率的モデルに対しても決定論的テスト結果が得られ、JavaとC#プラットフォーム間での再現性が向上した。
• 固定シード（1001）を用いた交差検証により、実行間で一貫した検証セットの分割が保証され、モデル比較における信頼性が向上した。
• ライブラリのAPIにより、モデルの切り替えが最小限のコード変更で可能であり、学習パイプライン全体を再定義する必要がない。
• Encogの150件以上の例題と包括的なドキュメンテーションにより、時系列分析、ファイナンシャルモデリング、パスファインディングを含む多様な応用分野での迅速なプロトタイピングが可能になった。