[論文レビュー] Streaming Adaptive Nonparametric Variational Autoencoder

Tingting Zhao, Zifeng Wang+2 more|arXiv (Cornell University)|Jun 7, 2019

Bayesian Methods and Mixture Models参考文献 37被引用数 4

ひとこと要約

この論文では、データストリーム上でエンドツーエンドの特徴抽出とクラスタリングを同時に実行する、ストリーミング対応で適応的非パラメトリックな変分オートエンコーダーであるAdapVAEを提案する。ベイジアン非パラメトリックモデリングと深層ニューラルネットワーク、および統合的オンライン変分推論アルゴリズムを組み合わせることで、AdapVAEは動的に新しいクラスタを検出でき、生成的リプレイにより崩壊的忘却を回避し、画像およびテキストのベンチマークでバッチ手法と同等のクラスタリング性能を達成する。

ABSTRACT

We develop a data driven approach to perform clustering and end-to-end feature learning simultaneously for streaming data that can adaptively detect novel clusters in emerging data. Our approach, Adaptive Nonparametric Variational Autoencoder (AdapVAE), learns the cluster membership through a Bayesian Nonparametric (BNP) modeling framework with Deep Neural Networks (DNNs) for feature learning. We develop a joint online variational inference algorithm to learn feature representations and clustering assignments simultaneously via iteratively optimizing the Evidence Lower Bound (ELBO). We resolve the catastrophic forgetting \citep{kirkpatrick2017overcoming} challenges with streaming data by adopting generative samples from the trained AdapVAE using previous data, which avoids the need of storing and reusing past data. We demonstrate the advantages of our model including adaptive novel cluster detection without discarding useful information learned from past data, high quality sample generation and comparable clustering performance as end-to-end batch mode clustering methods on both image and text corpora benchmark datasets.

研究の動機と目的

• 過去のデータを保存したり再処理したりせずに、ストリーミングデータのクラスタリングに挑戦する。
• 新しいデータの到着に応じて動的に新しいクラスタを検出できる、オンラインで増分的なクラスタリング手法を開発する。
• ストリーミングデータにおける継続的学習において、深層ニューラルネットワークの崩壊的忘却を克服する。
• 事前にクラスタ数を定義せずに、深層生成モデルを用いてエンドツーエンドの特徴抽出とクラスタリングを実現する。
• 変化するデータ分布に適応しつつ、バッチモードの最先端手法と同等のクラスタリング性能を達成する。

提案手法

• 深層ニューラルネットワーク（DNN）とベイジアン非パラメトリック（BNP）モデルを統合し、潜在表現とクラスタ所属関係を同時に学習する。
• エビデンス下限界（ELBO）を最適化するための統合的オンライン変分推論アルゴリズムを採用し、特徴抽出とクラスタ割り当ての同時最適化を実現する。
• 以前に訓練されたAdapVAEから生成されたサンプルを用いて、過去のデータを模擬することで、履歴データの保存と再処理を回避し、崩壊的忘却を緩和する。
• HughesとSudderth（2013）にインspiredされた「誕生と統合」戦略を採用し、新しいデータが新たな構造を示唆する場合にクラスタ数を動的に拡張する。
• キャッシュされた高確率サンプルにディリクレ過程混合モデル（DPMM）をフィットさせることで、サブサンプリングと変分推論を用いて潜在的な新しいクラスタを検出する。
• ミニバッチごとに局所的およびグローバルなパラメータ更新を実装し、増分学習中にモデルの一貫性を維持し、ELBOの向上を図る。

実験結果

リサーチクエスチョン

• RQ1 過去のデータを保存せずに、ストリーミング環境でエンドツーエンドのクラスタリングと特徴抽出を同時に実行できるか？
• RQ2 モデルは、クラスタ総数の事前知識がなくても、新しいデータに適応し、動的に新しいクラスタを検出できるか？
• RQ3 ストリーミングデータにおける継続的学習において、深層ニューラルネットワークの崩壊的忘却をどのように回避できるか？
• RQ4 動的にクラスタ容量を拡張しながら、バッチモード手法と同等の高いクラスタリング精度を維持できるか？
• RQ5 提案されたオンライン変分推論と生成的リプレイ戦略は、過去の知識の保持と新しいクラスタ構造の検出においてどの程度効果的か？

主な発見

• AdapVAEは、ARI、V-measure、および同質性スコアで測定したところ、画像およびテキストのベンチマークデータセットで最先端のバッチ手法と同等のクラスタリング性能を達成する。
• モデルはクラスタ数の事前知識がなくても、ストリーミングデータにおける新しいクラスタを効果的に検出でき、適応的スケーラビリティを示している。
• 訓練済みAdapVAEからのサンプルを用いた生成的リプレイは、過去に学習したクラスタの性能を保持する上で効果的に崩壊的忘却を緩和する。
• 誕生と統合戦略により、モデルはデータ分布の変化に応じて動的にクラスタを拡張し、新しいクラスタを同定して統合する。
• 統合的オンライン変分推論アルゴリズムにより、ストリーミングミニバッチ全体にわたり安定したELBO最適化が維持され、収束性とモデル安定性が保証される。
• ベンチマークデータセットにおいて、AdapVAEは高いARI（例：MNISTでは0.85以上）とV-measureスコアを達成しており、真のクラスタリングと強い整合性を示している。