[論文レビュー] Automatic Construction of Multi-layer Perceptron Network from Streaming Examples

Mahardhika Pratama, Choiru Za’in+3 more|arXiv (Cornell University)|Oct 8, 2019

Data Stream Mining Techniques参考文献 26被引用数 4

ひとこと要約

この論文では、リアルタイムでストリーミングデータから自己組織的で深層ニューラルネットワークであるNADINEを提示する。NADINEは、バイアス・バリアンス推定を用いて深さと幅を動的に調整し、適応的メモリとソフトフォーリングによる継続的忘却の緩和を実現する。ユーザー定義のしきい値を必要とせず、9つのデータストリーム分類および回帰タスクで優れた性能を達成する。

ABSTRACT

Autonomous construction of deep neural network (DNNs) is desired for data streams because it potentially offers two advantages: proper model's capacity and quick reaction to drift and shift. While the self-organizing mechanism of DNNs remains an open issue, this task is even more challenging to be developed for standard multi-layer DNNs than that using the different-depth structures, because the addition of a new layer results in information loss of previously trained knowledge. A Neural Network with Dynamically Evolved Capacity (NADINE) is proposed in this paper. NADINE features a fully open structure where its network structure, depth and width, can be automatically evolved from scratch in an online manner and without the use of problem-specific thresholds. NADINE is structured under a standard MLP architecture and the catastrophic forgetting issue during the hidden layer addition phase is resolved using the proposal of soft-forgetting and adaptive memory methods. The advantage of NADINE, namely elastic structure and online learning trait, is numerically validated using nine data stream classification and regression problems where it demonstrates performance improvement over prominent algorithms in all problems. In addition, it is capable of dealing with data stream regression and classification problems equally well.

研究の動機と目的

• データストリームにおける自己組織的で段階的な深層学習の課題に対処すること。
• 特に隠れ層の追加に伴う標準MLPにおける継続的忘却の解決。
• オンライン学習における問題固有のしきい値や固定ネットワークアーキテクチャへの依存を排除すること。
• 非ステーションナリティを持つデータストリームにおいて、分類および回帰タスクの両方をエンドツーエンドでオンライン学習可能にすること。
• 最小限の人的介入でリアルタイムに進化する完全にオープンで再構成可能なDNNアーキテクチャの開発。

提案手法

• NADINEは、隠れユニットレベルでのバイアスとバリアンスを推定するためのネットワーク重要性（NS）手法を採用し、ユニットの動的増加および削除を誘導する。
• ドリフト検出メカニズムを用いて構造的変更をトリガーし、ネットワークの深さを必要に応じて拡張または縮小可能にする。
• 適応的メモリ機構により、各層の重要性を追跡することで、以前に学習した知識の重要性を保持する。
• ソフトフォーリングは、SGD中の各層の学習感度を層の重要性に基づいて調整し、構造的アップデート時の継続的忘却を軽減する。
• 1パス、オンライン形式で動作し、各例を一度だけ処理するため、ストリーミングデータへのスケーラビリティが保証される。
• 構造的決定（追加、削除、深さ変更）は事前に定義されたしきい値に依存せず、一般化誤差の統計的推定に依存する。

実験結果

リサーチクエスチョン

• RQ1 標準MLPアーキテクチャが、継続的忘却を伴わずにオンライン学習中に深さと幅を自律的に進化させられるか。
• RQ2 標準MLPにおける段階的構造的変更中に、継続的忘却を効果的に緩和する方法は何か。
• RQ3 自己組織的DNNは、データストリームにおける分類および回帰タスクの両方で高い性能を維持できるか。
• RQ4 問題固有のしきい値が存在しないことで、ストリーミング環境における一般化性能と適応性がどの程度向上するか。
• RQ5 適応的メモリとソフトフォーリングは、構造的進化中の知識保持にどの程度寄与するか。

主な発見

• NADINEは、prequential test-then-trainプロトコルにおいて、9つのデータストリーム分類および回帰問題において、顕著なオンライン学習アルゴリズムをすべて上回る性能を示した。
• アブレーションスタディでは、層の成長メカニズムを削除すると正解率が85.85±10.41に低下し、性能に重要な役割を果たしていることが示された。
• ソフトフォーリング機構により、構造的変更時の性能低下が軽減され、無効化した場合の正解率は86.23±11.63に低下した。
• 適応的メモリ機構は顕著に寄与しており、無効化すると平均で1.11%の正解率低下（89.35±6.79から88.24±7.32）が観察された。
• HEPMASSデータセットでは平均正解率89.06±6.42を達成し、複雑で高次元のデータストリームでも堅牢性を示した。
• 分類および回帰タスクの両方を同等に処理でき、いずれのモダリティにおいても性能劣化が見られなかった。