[論文レビュー] Distributed Averaging CNN-ELM for Big Data

Arif Budiman, Mohamad Ivan Fanany+1 more|arXiv (Cornell University)|Oct 7, 2016

Machine Learning and ELM参考文献 22被引用数 7

ひとこと要約

本稿では、MapReduceを用いた分散平均化CNN-ELMフレームワークを提案し、ビッグデータ向けのスケーラビリティを向上させる。データパーティションに別けて複数のCNN-ELMモデルを並列に学習し、重みを平均化することで最終モデルを構築する。拡張されたMNISTおよびnot-MNISTデータセットにおいて、競争力ある精度を維持しながら学習時間を大幅に短縮するが、データ分布およびハイパーパramータに敏感であることが判明した。

ABSTRACT

Increasing the scalability of machine learning to handle big volume of data is a challenging task. The scale up approach has some limitations. In this paper, we proposed a scale out approach for CNN-ELM based on MapReduce on classifier level. Map process is the CNN-ELM training for certain partition of data. It involves many CNN-ELM models that can be trained asynchronously. Reduce process is the averaging of all CNN-ELM weights as final training result. This approach can save a lot of training time than single CNN-ELM models trained alone. This approach also increased the scalability of machine learning by combining scale out and scale up approaches. We verified our method in extended MNIST data set and not-MNIST data set experiment. However, it has some drawbacks by additional iteration learning parameters that need to be carefully taken and training data distribution that need to be carefully selected. Further researches to use more complex image data set are required.

研究の動機と目的

• ビッグデータ向けに単一マシンのディープラーニングモデルのスケーラビリティ制限を克服するためのスケールアウトアプローチを提案すること。
• CNN-ELMをMapReduceと統合し、行列演算レベルではなく分類器レベルでの分散学習を実現すること。
• 大規模データ上で、複数の非同期に学習されたCNN-ELMモデルの重みを平均化する手法の有効性を評価すること。
• データパーティショニング、学習率、反復回数がモデル性能に与える影響を調査すること。
• スケールアップとスケールアウト戦略を組み合わせることで、CNN-ELMの効率的で並列な学習を可能にすること。

提案手法

• マップフェーズでは、非同期並列SGDを用いて、異なるデータパーティション上で複数のCNN-ELMモデルを独立して学習する。
• リダスフェーズでは、すべてのモデルのCNN層からのカーネル重みとELM層からの出力重みを平均化する。
• 収束性と重み平均化性能を向上させるために、動的学習率を用いた最適化された確率的勾配降下法（SGD）を適用する。
• フレームワークは、コンmodityマシンに計算を分散させるMapReduceパラダイムを活用し、水平スケーリングを実現する。
• CNNは教師ありの方法で階層的特徴を抽出するが、ELMは高速な1層分類器として機能する。
• 複数回のSGD反復後に重み平均化を適用することで、安定性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 分散型CNN-ELM環境下で、学習反復回数がモデル性能にどのように影響するか？
• RQ2 異なる数のデータパーティションに対して、重み平均化手法の有効性はどの程度か？
• RQ3 反復回数の変化に伴い、平均化されたCNN-ELMモデルの性能結果はどの程度一貫性を示すか？
• RQ4 パーティション間でのデータ分布が最終モデルの精度にどのような影響を及えるか？
• RQ5 分散型CNN-ELMの性能は、全データセットを1つのCNN-ELMモデルで学習した場合と比べてどうか？

主な発見

• 拡張されたMNISTデータセットでは、4パーティションと5反復で平均化されたCNN-ELMモデルが92.40% ± 0.26のテスト精度を達成し、全モデル単一のCNN-ELM（92.41% ± 0.36）と同等の性能を示した。
• not-MNISTデータセットでは、2パーティションの平均化モデルが5反復後に66.85% ± 2.43の精度を示したが、単一モデルベースライン（73.72% ± 1.32）より低かった。
• not-MNISTにおける5パーティションの平均化モデルでは、精度が59.59% ± 0.24に低下し、非一様なデータ分布下でパーティショニング数の増加が結果を悪化させた。
• 不適切な学習率選定は性能劣化と局所最適解の発生を引き起こし、動的学習率スケジューリングの重要性を示唆した。
• 複数ノードで並列にモデル学習を可能にしたことで、学習時間を顕著に短縮し、スケーラビリティの利点を実証した。
• 性能はデータ分布に極めて敏感であり、一様な分布（拡張MNISTの例）では平均化がうまく機能したが、歪んだ分布（not-MNISTの例）では一般化性能が低下した。