[논문 리뷰] Online Deep Learning: Growing RBM on the fly

Savitha Ramasamy, Rajaraman Kanagasabai외 2명|arXiv (Cornell University)|2018. 03. 06.

Privacy-Preserving Technologies in Data참고 문헌 1인용 수 6

한 줄 요약

논문은 스트리밍 데이터가 도착함에 따라 재구성 오차를 사용하여 은닉층을 실시간으로 동적으로 증가시키는 온라인 학습 알고리즘인 온라인 생성-판별 RBM(OGD-RBM)을 제안한다. 이 알고리즘은 배치 학습 방법보다 24–70% 적은 뉴런과 더 적은 학습 샘플로도 뛰어난 분류 정확도를 달성하며, 특히 불균형 데이터 설정에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a novel online learning algorithm for Restricted Boltzmann Machines (RBM), namely, the Online Generative Discriminative Restricted Boltzmann Machine (OGD-RBM), that provides the ability to build and adapt the network architecture of RBM according to the statistics of streaming data. The OGD-RBM is trained in two phases: (1) an online generative phase for unsupervised feature representation at the hidden layer and (2) a discriminative phase for classification. The online generative training begins with zero neurons in the hidden layer, adds and updates the neurons to adapt to statistics of streaming data in a single pass unsupervised manner, resulting in a feature representation best suited to the data. The discriminative phase is based on stochastic gradient descent and associates the represented features to the class labels. We demonstrate the OGD-RBM on a set of multi-category and binary classification problems for data sets having varying degrees of class-imbalance. We first apply the OGD-RBM algorithm on the multi-class MNIST dataset to characterize the network evolution. We demonstrate that the online generative phase converges to a stable, concise network architecture, wherein individual neurons are inherently discriminative to the class labels despite unsupervised training. We then benchmark OGD-RBM performance to other machine learning, neural network and ClassRBM techniques for credit scoring applications using 3 public non-stationary two-class credit datasets with varying degrees of class-imbalance. We report that OGD-RBM improves accuracy by 2.5-3% over batch learning techniques while requiring at least 24%-70% fewer neurons and fewer training samples. This online generative training approach can be extended greedily to multiple layers for training Deep Belief Networks in non-stationary data mining applications without the need for a priori fixed architectures.

연구 동기 및 목표

• 네트워크 아키텍처가 사전에 고정되어 있는 경우가 일반적인 스트리밍 및 비정상적인 데이터 환경에서 딥 네ural 네트워크를 훈련하는 데 도전하는 문제를 해결하기 위해.
• 사전에 정의된 네트워크 깊이 또는 너비가 필요 없이 데이터 통계에 기반하여 RBM 아키텍처를 처음부터 온라인으로 진화시키는 온라인 학습 알고리즘을 개발하기 위해.
• 훈련 중에 클래스 레이블이 없더라도 자동으로 분류 가능한 뉴런을 생성하는 비지도 특징 학습을 가능하게 하기 위해.
• 소수 클래스 표현에 맞게 네트워크 용량을 적응적으로 조정함으로써 불균형 데이터셋에서의 성능을 향상시키기 위해.

제안 방법

• 알고리즘은 은닉 뉴런 수가 0인 상태에서 시작하여 각 도착 샘플을 단일 패assing으로 처리한다.
• 각 샘플의 재구성 오차를 평가하여 새로운 뉴런을 추가할지, 기존 가중치를 갱신할지, 또는 샘플을 기각할지 결정한다.
• 재구성 오차가 임계값을 초과할 경우 뉴런 추가가 촉발되며, 이는 고유한 데이터 특징의 표현을 보장한다.
• 생성 단계는 클래스 감독 없이도 데이터에 적응하는 압축된 특징 표현을 학습한다.
• 다음으로, 확률적 경사 하강법을 사용하여 학습된 특징을 클래스 레이블에 매핑하는 판별 단계가 수행된다.
• 네트워크 아키텍처는 탐욕적으로 진화하며, 고정된 아키텍처 제약 없이 딥 베리패스 네트워크로의 확장이 가능하다.

실험 결과

연구 질문

• RQ1 사전 아키텍처 사양 없이 스트리밍 데이터에 대한 반응으로 온라인 RBM 학습 알고리즘이 아키텍처를 동적으로 증가시킬 수 있는가?
• RQ2 비지도, 온라인 생성 단계에서 학습된 뉴런들이 이후 분류 작업을 위해 본질적으로 분류 가능해지는가?
• RQ3 훈련 샘플의 제시 순서에 관계없이 OGD-RBM의 분류 성능가 불변인가?
• RQ4 특히 클래스 불균형 상황에서, 배치 학습보다 훨씬 작아진 네트워크 크기와 적은 학습 샘플로도 더 높은 정확도를 달성할 수 있는가?
• RQ5 온라인 뉴런 증가 메커니즘이 불균형 데이터 스트림에서 소수 클래스 분포에 어떻게 적응하는가?

주요 결과

• OGD-RBM는 다양한 정도의 클래스 불균형이 있는 신용 평가 데이터셋에서 배치 학습 기법보다 2.5–3% 높은 정확도를 달성했다.
• 알고리즘이 배치 방법보다 최소 24–70% 적은 뉴런을 요구하여 더 컴act하고 효율적인 아키텍처임을 입증했다.
• 비지도 훈련에도 불구하고, OGD-RBM의 은닉 뉴런은 강력한 클래스 연관성으로 인해 본질적으로 분류 가능했으며, 이는 특징 표현의 특성에서 뚜렷하게 드러났다.
• 분류 성능가 훈련 데이터의 순서에 영향을 받지 않아, 온라인 학습 과정의 강건성과 안정성을 확인했다.
• 극도로 불균형한 데이터셋에서는 소수 클래스에 더 많은 비율의 은닉 뉴런이 할당되었으며, 이는 데이터 분포에 적응하는 학습의 특성을 반영했다.
• MNIST 데이터셋에서는 온라인 생성 단계가 안정적이고 간결한 네트워크로 수렴하였으며, 개별 뉴런이 고유한 클래스 분포를 대표하였다.