[論文レビュー] Online Deep Learning: Growing RBM on the fly

Savitha Ramasamy, Rajaraman Kanagasabai+2 more|arXiv (Cornell University)|Mar 6, 2018

Privacy-Preserving Technologies in Data参考文献 1被引用数 6

ひとこと要約

本稿では、ストリーミングデータの到着に伴い、再構成誤差を用いてニューロンの追加・更新・削除を行うことで、リアルタイムで隠れ層を動的に拡大するオンライン学習アルゴリズムであるオンライン生成的判別的RBM（OGD-RBM）を提案する。バッチ手法と比較して、24–70%少ないニューロンと少ない学習サンプルで優れた分類精度を達成し、特に不均衡データ設定で顕著な性能を示す。

ABSTRACT

We propose a novel online learning algorithm for Restricted Boltzmann Machines (RBM), namely, the Online Generative Discriminative Restricted Boltzmann Machine (OGD-RBM), that provides the ability to build and adapt the network architecture of RBM according to the statistics of streaming data. The OGD-RBM is trained in two phases: (1) an online generative phase for unsupervised feature representation at the hidden layer and (2) a discriminative phase for classification. The online generative training begins with zero neurons in the hidden layer, adds and updates the neurons to adapt to statistics of streaming data in a single pass unsupervised manner, resulting in a feature representation best suited to the data. The discriminative phase is based on stochastic gradient descent and associates the represented features to the class labels. We demonstrate the OGD-RBM on a set of multi-category and binary classification problems for data sets having varying degrees of class-imbalance. We first apply the OGD-RBM algorithm on the multi-class MNIST dataset to characterize the network evolution. We demonstrate that the online generative phase converges to a stable, concise network architecture, wherein individual neurons are inherently discriminative to the class labels despite unsupervised training. We then benchmark OGD-RBM performance to other machine learning, neural network and ClassRBM techniques for credit scoring applications using 3 public non-stationary two-class credit datasets with varying degrees of class-imbalance. We report that OGD-RBM improves accuracy by 2.5-3% over batch learning techniques while requiring at least 24%-70% fewer neurons and fewer training samples. This online generative training approach can be extended greedily to multiple layers for training Deep Belief Networks in non-stationary data mining applications without the need for a priori fixed architectures.

研究の動機と目的

• ネットワーク構造が事前に固定されている環境において、ストリーミングで変化する非ステーションリティなデータ環境における深層ニューラルネットワークの学習課題に対処すること。
• 事前に定義されたネットワークの深さや幅を必要とせず、データ統計に基づいてRBMアーキテクチャをゼロから段階的に進化させるオンライン学習アルゴリズムを開発すること。
• 学習中にラベルが存在しない状況でも、特徴の判別的表現を内蔵的に生成する教師なし特徴学習を可能にすること。
• オンラインでニューロンを増やすことで、マイノリティクラスの表現に適応し、ネットワーク容量を調整することにより、不均衡データセットでの性能を向上させること。

提案手法

• アルゴリズムはゼロ個の隠れニューロンから開始され、各入力サンプルを1回のパスで処理する。
• 各サンプルごとの再構成誤差を評価し、新しいニューロンを追加するか、既存の重みを更新するか、サンプルを破棄するかを決定する。
• 再構成誤差がしきい値を超えるとニューロンの追加がトリガーされ、特徴の異なる表現が確保される。
• 生成的フェーズでは、ラベルの監視なしに、データに適応したコンactな特徴表現を学習する。
• その後、確率的勾配降下法を用いて、学習された特徴をクラスラベルにマッピングする判別的フェーズが実行される。
• ネットワーク構造は貪欲に進化し、固定されたアーキテクチャ制約なしに深層信念ネットワークへの拡張が可能になる。

実験結果

リサーチクエスチョン

• RQ1 事前にアーキテクチャを定義しない状況で、ストリーミングデータへの応答としてオンラインRBM学習アルゴリズムが動的にアーキテクチャを拡大できるか？
• RQ2 教師なしでオンラインで実行される生成的フェーズで学習されたニューロンが、後続の分類タスクにおいて本質的に判別的になるか？
• RQ3 OGD-RBMの分類性能は、訓練データの提示順序に依存しないか？
• RQ4 特にクラス不均衡な状況において、OGD-RBMは、はるかに少ないネットワークサイズと学習サンプルでバッチ学習を上回る精度を達成できるか？
• RQ5 オンラインでニューロンを増やすメカニズムは、不均衡データストリームにおけるマイノリティクラスの分布にどのように適応するか？

主な発見

• OGD-RBMは、クラス不均衡度が異なるクレジットスコアリングデータセットにおいて、バッチ学習手法と比較して2.5–3%高い精度を達成した。
• アルゴリズムはバッチ手法と比較して、少なくとも24–70%少ないニューロンを必要とし、よりコンactで効率的なアーキテクチャであることが示された。
• 教師なしの学習であったにもかかわらず、OGD-RBMの隠れニューロンは、特徴表現における強いクラス関連性から、本質的に判別的であることが実証された。
• 分類性能が訓練データの順序に依存しなかったため、オンライン学習プロセスのロバスト性と安定性が確認された。
• 極度に不均衡なデータセットでは、マイノリティクラスに割り当てられる隠れニューロンの割合が高くなり、データ分布に適応した学習が行われていることが示された。
• MNISTデータセットでは、オンライン生成的フェーズが安定したコンパクトなネットワークに収束し、個々のニューロンが明確なクラス分布を表すようになった。