[논문 리뷰] Streaming Adaptive Nonparametric Variational Autoencoder

Tingting Zhao, Zifeng Wang외 2명|arXiv (Cornell University)|2019. 06. 07.

Bayesian Methods and Mixture Models참고 문헌 37인용 수 4

한 줄 요약

이 논문은 스트리밍 환경에서 데이터 스트림에 대해 종단간 특징 학습과 클러스터링을 동시에 수행하는 스트리밍 적응형 비모수적 변분 autoencoder인 AdapVAE를 제안한다. 베이지안 비모수 모델링과 딥 네ural 네트워크, 그리고 종합적인 온라인 변분 추론 알고리즘을 결합함으로써 AdapVAE는 동적으로 새로운 클러스터를 탐지하고, 생성적 리플레이를 통해 치명적인 잊음( catastrophic forgetting)을 방지하며, 이미지 및 텍스트 벤치마크에서 배치 모드 방법과 비교해 유사한 클러스터링 성능을 달성한다.

ABSTRACT

We develop a data driven approach to perform clustering and end-to-end feature learning simultaneously for streaming data that can adaptively detect novel clusters in emerging data. Our approach, Adaptive Nonparametric Variational Autoencoder (AdapVAE), learns the cluster membership through a Bayesian Nonparametric (BNP) modeling framework with Deep Neural Networks (DNNs) for feature learning. We develop a joint online variational inference algorithm to learn feature representations and clustering assignments simultaneously via iteratively optimizing the Evidence Lower Bound (ELBO). We resolve the catastrophic forgetting \citep{kirkpatrick2017overcoming} challenges with streaming data by adopting generative samples from the trained AdapVAE using previous data, which avoids the need of storing and reusing past data. We demonstrate the advantages of our model including adaptive novel cluster detection without discarding useful information learned from past data, high quality sample generation and comparable clustering performance as end-to-end batch mode clustering methods on both image and text corpora benchmark datasets.

연구 동기 및 목표

• 과거 데이터를 저장하거나 다시 접근하지 않고 스트리밍 데이터의 클러스터링 문제를 해결한다.
• 새로운 데이터가 도착함에 따라 동적으로 새로운 클러스터를 탐지할 수 있는 온라인 및 증분 클러스터링 방법을 개발한다.
• 스트리밍 데이터에서의 지속적 학습 동안 딥 네ural 네트워크에서 발생하는 치명적인 잊음을 해결한다.
• 사전에 정해진 클러스터 수 없이 딥 생성 모델을 사용하여 종단간 특징 학습과 클러스터링을 수행한다.
• 변화하는 데이터 분포에 적응할 수 있는 유연성을 유지하면서도 배치 모드 최첨단 방법과 유사한 클러스터링 성능를 달성한다.

제안 방법

• 딥 네ural 네트워크(DNNs)와 베이지안 비모수(BNP) 모델을 통합하여 잠재 표현과 클러스터 소속 관계를 동시에 학습한다.
• 동시적인 특징 학습과 클러스터 할당을 위해 Evidence Lower Bound(ELBO) 최적화를 위한 종합적인 온라인 변분 추론 알고리즘을 적용한다.
• 이전에 학습된 AdapVAE에서 생성한 샘플을 사용해 과거 데이터를 시뮬레이션함으로써 기존 데이터의 저장 및 재처리를 피하고 치명적인 잊음을 완화한다.
• Hughes와 Sudderth(2013)의 영감을 얻어, 새로운 데이터가 새로운 구조를 시사할 경우 클러스터 수를 동적으로 증가시키는 생애-합치기 전략을 구현한다.
• 캐시된 고확률 샘플에 대해 Dirichlet Process Mixture Model(DPMM)을 피팅함으로써 잠재적인 새로운 클러스터를 탐지하기 위해 서브샘플링과 변분 추론을 적용한다.
• 미니배치 간 국소적 및 전역적 파라미터 업데이트를 수행하여 모델 일관성을 유지하고 증분 학습 중 ELBO를 향상시킨다.

실험 결과

연구 질문

• RQ1 기존 데이터를 저장하지 않고 스트리밍 환경에서 종단간 클러스터링과 특징 학습을 동시에 수행할 수 있는가?
• RQ2 모델은 사전에 클러스터 총 수를 알지 못해도 새로운 데이터에 적응하고 새로운 클러스터를 탐지할 수 있는가?
• RQ3 스트리밍 데이터에서의 지속적 학습 중 딥 네ural 네트워크에서 치명적인 잊음을 어떻게 방지할 수 있는가?
• RQ4 동적으로 클러스터 용량을 확장하면서도 배치 모드 방법과 유사한 높은 클러스터링 정확도를 유지할 수 있는가?
• RQ5 제안된 온라인 변분 추론 및 생성적 리플레이 전략은 과거 지식을 보존하고 새로운 클러스터 구조를 탐지하는 데 얼마나 효과적인가?

주요 결과

• ARI, V-measure 및 동질성 점수로 측정했을 때, AdapVAE는 이미지 및 텍스트 벤치마크 데이터셋에서 최첨단 배치 모드 방법과 유사한 클러스터링 성능를 달성한다.
• 모델은 클러스터 수를 사전에 알지 못해도 스트리밍 데이터에서 새로운 클러스터를 성공적으로 탐지하여 적응형 확장성을 입증한다.
• 학습된 AdapVAE에서 생성한 샘플을 사용한 생성적 리플레이는 치명적인 잊음을 효과적으로 완화하며, 이전에 학습된 클러스터의 성능를 유지한다.
• 생애-합치기 전략은 동적 클러스터 확장을 가능하게 하며, 데이터 분포 변화에 따라 새로운 클러스터를 식별하고 통합한다.
• 종합적인 온라인 변분 추론 알고리즘은 스트리밍 미니배치 간 안정적인 ELBO 최적화를 유지하여 수렴성과 모델 안정성을 보장한다.
• 벤치마크 데이터셋에서 AdapVAE는 높은 ARI(예: MNIST에서 0.85 이상) 및 V-measure 점수를 기록하여 참값 클러스터링과의 강한 일치를 보였다.