[論文レビュー] ATL: Autonomous Knowledge Transfer from Many Streaming Processes

Mahardhika Pratama, Marcus de Carvalho+3 more|arXiv (Cornell University)|Oct 8, 2019

Data Stream Mining Techniques参考文献 20被引用数 13

ひとこと要約

ATLは、ラベルなしのターゲットデータ、共変量シフト、非同期的コンセプトドリフトを伴う複数のストリーミングプロセス間で、自己学習的・オンライン型の教師なし転移学習を実現する深層学習フレームワークを提案する。KLダイバージェンス最適化と自己適応型ガウス・ミックスチャネル・モデル（AGMM）を用いた統合的生成的・判別的学習により、柔軟でドメイン不変なネットワーク構造を自己進化させ、マルチストリーム環境下でベースラインを上回る高い精度と高速性を達成した。

ABSTRACT

Transferring knowledge across many streaming processes remains an uncharted territory in the existing literature and features unique characteristics: no labelled instance of the target domain, covariate shift of source and target domain, different period of drifts in the source and target domains. Autonomous transfer learning (ATL) is proposed in this paper as a flexible deep learning approach for the online unsupervised transfer learning problem across many streaming processes. ATL offers an online domain adaptation strategy via the generative and discriminative phases coupled with the KL divergence based optimization strategy to produce a domain invariant network while putting forward an elastic network structure. It automatically evolves its network structure from scratch with/without the presence of ground truth to overcome independent concept drifts in the source and target domain. The rigorous numerical evaluation has been conducted along with a comparison against recently published works. ATL demonstrates improved performance while showing significantly faster training speed than its counterparts.

研究の動機と目的

• ラベルなしのターゲットインスタンスを有する複数のストリーミングデータプロセス間での転移学習の課題に対処すること。
• ソースおよびターゲットドメインの両方で共変量シフトと非同期的コンセプトドリフトを同時に克服すること。
• 教師ありおよび教師なしモードの両方で動的に構造を適応させるオンラインで自己進化する深層ネットワークの開発。
• ターゲットドメインにおける真値ラベルに依存せずにドメイン不変な表現学習を実現すること。
• リアルタイムのストリーミング環境下で、低コストの計算負荷で高い性能を達成すること。

提案手法

• 生成的および判別的学習フェーズを統合：ターゲットドメインでは再構成誤差を、ソースドメインでは予測誤差を最適化する。
• ソースおよびターゲットの隠れ表現間のKLダイバージェンスを最小化することでドメイン不変性を強制する。
• 生成的フェーズにおけるロバストネスと一般化性能の向上を図るため、ノイズを注入したノイズ除去自己符号化器（DAE）を採用する。
• 予測誤差および再構成誤差に基づき、隠れユニットの動的増加・削除を可能にする自己適応型ガウス・ミックスチャネル・モデル（AGMM）を導入する。
• 成長基準を満たした場合に複数の隠れユニットを一度に増加させる自己進化型ネットワーク構造を適用し、ドリフトへの高速適応を実現する。
• 一括オンライン学習設定下で、確率的勾配降下法（SGD）を用いて全目的関数を統合最適化することで、時間的・空間的計算量を低減する。

実験結果

リサーチクエスチョン

• RQ1 深層学習フレームワークは、複数のストリーミングプロセスにおけるコンセプトドリフトに、リアルタイムで自己適応的にネットワーク構造を変更できるか？
• RQ2 提案手法のKLダイバージェンスに基づくドメイン整合戦略は、ラベルなしのターゲットデータを前提として共変量シフトをどれほど効果的に低減できるか？
• RQ3 AGMMに基づく隠れユニットの増加・削除機構は、固定または単一ユニット増加戦略と比較して、どれほど適応性が向上するか？
• RQ4 FUSION、MSC、MSCRDRなどの最先端手法と比較して、ATLはマルチストリーム問題における精度および学習速度の面でどの程度優れているか？
• RQ5 ターゲットドメインにラベルデータが存在しない場合、性能が著しく低下するが、ATLは自己教師あり学習によりこれを緩和できるか？

主な発見

• ATLはSEAデータセットで90.84％のターゲット分類率（TCR）と92.30％のソース分類率（SCR）を達成し、両方の精度と学習速度においてベースラインを上回った。
• アブレーションスタディの結果、KLダイバージェンスフェーズを除外するとTCRが1％低下し、SCRが0.3％低下し、ドメイン整合性に果たすその重要性が裏付けられた。
• AGMMを排除するとTCRが0.5％、SCRが0.3％低下し、非ステーショナリな条件下でも柔軟かつ適応的なネットワーク拡張に不可欠であることが示された。
• 自己進化機構（隠れユニットの増加／削除）を無効化した場合、性能が著しく低下（TCRが90.27％に低下）し、ドリフト適応に不可欠であることが明確になった。
• 複数エポックを用いることで性能が最大2％向上したが、単一パスモード下でも効果的であり、真のオンライン学習能力を確認した。
• ATLの学習時間はFUSION、MSC、TLDAよりも顕著に短く、SEAデータセットでわずか81秒で、高い精度を維持した。