[論文レビュー] Autonomous Deep Learning: Continual Learning Approach for Dynamic Environments

Andri Ashfahani, Mahardhika Pratama|arXiv (Cornell University)|Oct 17, 2018

Data Stream Mining Techniques被引用数 20

ひとこと要約

本論文は、動的データストリームにおける継続的学習のための自律的ディープラーニング（ADL）フレームワークを提案する。ADLは、ドリフト検出、動的レイヤー生成、およびネットワークの重要性に基づく pruning メカニズムを統合することで、非定常環境下でも災難的忘却を軽減しながら、最新の精度を達成する（統合手法と比較して最大68%高い）。

ABSTRACT

The feasibility of deep neural networks (DNNs) to address data stream problems still requires intensive study because of the static and offline nature of conventional deep learning approaches. A deep continual learning algorithm, namely autonomous deep learning (ADL), is proposed in this paper. Unlike traditional deep learning methods, ADL features a flexible structure where its network structure can be constructed from scratch with the absence of an initial network structure via the self-constructing network structure. ADL specifically addresses catastrophic forgetting by having a different-depth structure which is capable of achieving a trade-off between plasticity and stability. Network significance (NS) formula is proposed to drive the hidden nodes growing and pruning mechanism. Drift detection scenario (DDS) is put forward to signal distributional changes in data streams which induce the creation of a new hidden layer. The maximum information compression index (MICI) method plays an important role as a complexity reduction module eliminating redundant layers. The efficacy of ADL is numerically validated under the prequential test-then-train procedure in lifelong environments using nine popular data stream problems. The numerical results demonstrate that ADL consistently outperforms recent continual learning methods while characterizing the automatic construction of network structures.

研究の動機と目的

• データストリーム環境における従来のディープラーニングの限界に対処する。ここではモデルが静的であり、継続的で概念的ドリフトを伴うデータに不適切である。
• 固定されたアーキテクチャ制約なしにネットワークの深さと幅を動的に適応可能にすることで、生涯学習における災難的忘却を克服する。
• ユーザーが定義したハイパーパramーターや初期ネットワーク構成なしに、構造を完全に自己組織化してから構築する自己組織的ディープニューラルネットワークを開発する。
• 高次元で非定常なデータストリームにおいて、計算オーバーヘッドと余分なパラメータを最小限に抑えることで、スケーラビリティと効率性を確保する。
• 遅延ラベルを伴うリアルタイムの順次データ処理を模倣するため、prequential test-then-trainプロトコルに基づいてフレームワークを検証する。

提案手法

• 事前のアーキテクチャ仮定なしに、完全に自律的であるモデル設計を可能にする自己構築ネットワーク構造を導入する。
• データストリームにおける分布シフトを特定するドリフト検出シナリオ（DDS）を採用し、概念的ドリフトが検出された際に新しい隠れ層を生成する。
• ネットワークの重要性（NS）式を適用し、モデル性能への寄与に基づいて隠れノードの動的増加と削除を制御する。
• 冗長なレイヤーを削除してモデル効率性を維持するための複雑性低減メカニズムとして、最大情報圧縮インデックス（MICI）を活用する。
• 異なる深さの構造と動的投票、および勝者層の適応を組み合わせることで、柔軟性と安定性のバランスを図り、災難的忘却を低減する。
• 遅延ラベルを伴うリアルタイムで順次処理されるデータを模倣するため、prequential test-then-train評価プロトコルに従う。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが定義した初期構造なしに、進化するデータストリームに応じてディープニューラルネットワークが完全に自己構築可能か？
• RQ2 概念的ドリフトを伴う非定常なデータ環境下で、継続的学習フレームワークが災難的忘却をどの程度効果的に軽減できるか？
• RQ3 ドリフト検出による動的深さ適応は、固定深さまたは浅いアーキテクチャと比較して、モデルの精度と一般化性能をどの程度向上させるか？
• RQ4 ネットワークの重要性とMICIメカニズムの統合は、進化するディープネットワークにおける効率性向上と冗長性防止にどの程度寄与するか？
• RQ5 prequential評価下で、既存の継続的学習手法と比較して、提案フレームワークが精度、実行時間、パラメータ効率性の面で優れているか？

主な発見

• HTRU2データセットでは、ADLが99.85% ± 0.18の分類率を達成し、次に優れた手法（pE+：96.7% ± 6%）を大きく上回り、統合手法と比較して68%の性能向上を示した。
• 大規模データのSUSYおよびHepmassデータセットにおいても、ADLは最高の分類率を達成し、高次元で非定常なデータストリーム処理における強靭性を確認した。
• ほとんどの場合、ADLは進化型アルゴリズムの中で最速の実行時間を記録した。これは、アンサンブルやルールベース手法と比較して、MLPベースのアーキテクチャが計算およびメモリのオーバーヘッドを低減するためである。
• ADLは、パーソーマルMNIST問題にもスケーリングに成功し、DNNと比較して3%高い精度を達成した。他の進化型モデルは高コストな複雑性のためスケーリングに失敗した。
• HTRU2では、1120 ± 50という少ないパラメータ数を維持しながら、ほぼ完璧な精度を達成した。これは、MICIおよびNS駆動型pruningによる効果的な複雑性制御の証明である。
• 異なる深さの構造と動的投票、勝者層適応により、ADLは固定構造のDNNや他の継続的学習ベースラインと比較して、優れた知識保持を実現し、災難的忘却を低減した。