[論文レビュー] Online Deep Learning: Learning Deep Neural Networks on the Fly

Doyen Sahoo, Quang Pham+2 more|arXiv (Cornell University)|Nov 10, 2017

Data Stream Mining Techniques被引用数 5

ひとこと要約

本稿では、複数の隠れ層から得られる出力分類器に対してヘッジ戦略を用いることで、動的かつ柔軟にネットワークの深さを適応的に変更する、オンライン学習に特化した深層ニューラルネットワーク（DNN）の新規フレームワーク、Hedge Backpropagation（HBP）を提案する。HBPは、浅いネットワークと深いネットワーク間の知識共有を実現することで、定常的かつ概念変化が生じる状況の両方において、標準的なオンラインバックプロパゲーションや固定深さのDNNを凌駕する、収束性と頑健性に優れたオンライン学習を可能にする。

ABSTRACT

Deep Neural Networks (DNNs) are typically trained by backpropagation in a batch learning setting, which requires the entire training data to be made available prior to the learning task. This is not scalable for many real-world scenarios where new data arrives sequentially in a stream form. We aim to address an open challenge of "Online Deep Learning" (ODL) for learning DNNs on the fly in an online setting. Unlike traditional online learning that often optimizes some convex objective function with respect to a shallow model (e.g., a linear/kernel-based hypothesis), ODL is significantly more challenging since the optimization of the DNN objective function is non-convex, and regular backpropagation does not work well in practice, especially for online learning settings. In this paper, we present a new online deep learning framework that attempts to tackle the challenges by learning DNN models of adaptive depth from a sequence of training data in an online learning setting. In particular, we propose a novel Hedge Backpropagation (HBP) method for online updating the parameters of DNN effectively, and validate the efficacy of our method on large-scale data sets, including both stationary and concept drifting scenarios.

研究の動機と目的

• データが逐次的に到着し、フルバッチの保存が不可能なオンライン学習環境において、深層ニューラルネットワーク（DNN）を効果的に訓練する課題に対処すること。
• 勾配消失、収束が遅い、ネットワークの深さが不適切な場合に性能が劣るといった、標準的なオンラインバックプロパゲーションの限界を克服すること。
• 検証データを必要とせず、データの到着に応じて段階的に浅いネットワークから始まり、深くなるように自動的にモデル容量を適応的に変更する仕組みを実現すること。
• 浅いネットワークと深いネットワークのコンポonent間での知識共有を促進することで、オンライン学習環境における予測性能と学習効率を向上させること。
• 概念変化や大規模なストリーミングデータに対応できるスケーラブルでメモリ効率の良いオンラインDNN学習フレームワークを構築すること。

提案手法

• オンライン学習中に複数の深さの予測が可能となるように、各隠れ層に出力分類器を追加することでDNNアーキテクチャを拡張する。
• 異なる深さの分類器からの予測を動的に重みづけするHedgeアルゴリズムを用いた、バックプロパゲーションの変更版であるHedge Backpropagation（HBP）を導入する。
• Hedgeアルゴリズムを用いて、各分類器のオンライン性能に基づく信頼度スコアを維持・更新し、各学習ステップで最も効果的な深さを適応的に選択可能にする。
• 異なる深さの分類器間で勾配を共有しながら、すべてのネットワークパラメータを同時に更新するバックプロパゲーションの拡張により、知識の転送を実現する。
• すべての深さ特化分類器からの損失の重み付き組み合わせとしてオンライン学習の目的関数を定式化し、累積的な性能に基づいてHedge戦略で重みを更新する。
• 最適な深さを事前に知る必要なく、時間の経過とともにどの深さが最も優れた予測性能を発揮するかを学習させる仕組みにより、自動的なモデル選択を可能にする。

実験結果

リサーチクエスチョン

• RQ1 データが逐次的に到着し、フルバッチ学習が不可能なオンライン学習環境において、どのようにして深層ニューラルネットワークを効果的に訓練できるか？
• RQ2 検証データやデータの複雑さに関する事前知識を一切必要とせずに、オンラインDNN学習におけるネットワーク深さの動的適応を実現するメカニズムは何か？
• RQ3 浅いネットワークと深いネットワークのコンポonent間で、どのようにして知識を共有することで、オンライン学習における収束性と予測性能を向上できるか？
• RQ4 複数の深さ特化分類器に対してヘッジ戦略を適用することで、固定深さや標準的なオンラインバックプロパゲーションに比べ、オンラインDNNの性能が向上するか？
• RQ5 本手法は、ストリーミング環境における分布の変化（概念変化）やデータの複雑さの変動に対して、どの程度頑健であるか？

主な発見

• Hedge Backpropagation（HBP）は、HIGGSデータセットにおいて0.2615という最低のテスト誤差を達成し、標準的なオンラインバックプロパゲーション（0.2868）およびテストされたすべての固定深さDNNを上回った。
• HBPは、学習の初期段階から最終段階まで、最良の固定深さDNN（例：20層）と同等またはそれを上回る性能を示し、優れた適応性を実証した。
• 分類器間の重み分布は時間経過とともに変化した：初期段階では浅い分類器（約0.5%のデータ処理段階）が支配的であったが、60–80%のデータ処理段階でより深い分類器（5–7層）の重要性が高まった。これは、効果的な動的深さ適応の実現を示している。
• HBPはベースネットワークの深さに対して高い頑健性を示し、12層、16層、20層、30層のネットワークにおいてテスト誤差がわずかに0.2609～0.2620の範囲で変動した。これに対して、標準的なオンラインバックプロパゲーションでは、深さが増すと誤差が著しく上昇した。
• 概念変化シナリオ（CD1およびCD2）においても、HBPは安定した性能を維持し、現実のストリーミングデータに見られる分布のシフトに対して耐性があることを示した。
• 初期学習段階では浅いネットワークの利用により収束が速く、後続の段階では深い表現を活用することで、速度と表現力のバランスを効果的に達成した。