[논문 리뷰] A brief survey on deep belief networks and introducing a new object oriented toolbox (DeeBNet)

Mohammad Ali Keyvanrad, Mohammad Mehdi Homayounpour|arXiv (Cornell University)|2014. 08. 14.

Generative Adversarial Networks and Image Synthesis인용 수 24

한 줄 요약

이 논문은 깊이 있는 신뢰 네트워크(Deep Belief Networks, DBNs)를 스택형 제한된 볼츠만 기계(Restricted Boltzmann Machines, RBMs)를 사용하여 구현하기 위한 오픈소스, 객체 지향형 MATLAB/Octave 도구상자인 DeeBNet을 제시한다. 이 도구상자는 비지도 사전 훈련을 통해 특징 학습을 가능하게 하며, MNIST, ISOLET, 20 Newsgroups 데이터셋에서 최신 기술 수준의 분류 성능을 달성한다. 또한 다양한 샘플링 및 희소성 방법을 지원하며, 새로운 FEPCD 알고리즘을 포함한다.

ABSTRACT

Nowadays, this is very popular to use the deep architectures in machine learning. Deep Belief Networks (DBNs) are deep architectures that use stack of Restricted Boltzmann Machines (RBM) to create a powerful generative model using training data. DBNs have many ability like feature extraction and classification that are used in many applications like image processing, speech processing and etc. This paper introduces a new object oriented MATLAB toolbox with most of abilities needed for the implementation of DBNs. In the new version, the toolbox can be used in Octave. According to the results of the experiments conducted on MNIST (image), ISOLET (speech), and 20 Newsgroups (text) datasets, it was shown that the toolbox can learn automatically a good representation of the input from unlabeled data with better discrimination between different classes. Also on all datasets, the obtained classification errors are comparable to those of state of the art classifiers. In addition, the toolbox supports different sampling methods (e.g. Gibbs, CD, PCD and our new FEPCD method), different sparsity methods (quadratic, rate distortion and our new normal method), different RBM types (generative and discriminative), using GPU, etc. The toolbox is a user-friendly open source software and is freely available on the website http://ceit.aut.ac.ir/~keyvanrad/DeeBNet%20Toolbox.html .

연구 동기 및 목표

• MATLAB 및 Octave에서 깊이 있는 신뢰 네트워크(DBNs)를 구현하기 위한 종합적이고 사용자 친화적이며 확장 가능한 도구상자를 제공하는 것.
• 다양한 훈련 기법, 특히 여러 샘플링 방법(Gibbs, CD, PCD, FEPCD)과 희소성 제약(이차형, 비율-왜곡, 정규형)을 지원하는 것.
• 이미지, 음성, 텍스트 등 다양한 데이터 유형에서 효과적인 특징 학습과 분류를 가능하게 하는 것.
• 비지도 사전 훈련을 통해 레이블이 없는 데이터에서 학습한 결과로 최신 기술 수준의 분류 정확도를 달성하는 것.

제안 방법

• 도구상자는 RBM 및 DBN 컴포넌트를 모듈화하기 위해 객체 지향 설계를 기반으로 하여 확장성과 재사용성을 보장한다.
• 대비 기울기(Contrastive Divergence, CD), 지속적 CD(Persistent CD, PCD), 길버트 샘플링, 그리고 수렴성을 향상시킨 새로운 FEPCD 방법을 포함한 다수의 훈련 알고리즘을 구현한다.
• 희소성은 세 가지 방법으로 강제한다: 이차형, 비율-왜곡, 그리고 새로 제안된 정규 희소성 방법.
• 생성적 및 판별적 RBM 변종을 모두 지원하여 모델 아키텍처의 유연성을 제공한다.
• 대규모 데이터셋에서의 훈련 속도 향상을 위해 GPU 가속을 통합한다.
• DBN은 각 층이 게으르게 단계별로 비지도 학습을 통해 사전 훈련되는 RBM의 스택으로 구성된다.

실험 결과

연구 질문

• RQ1 다양한 훈련 및 정규화 기법을 지원하는 오픈소스, 객체 지향형 도구상자는 깊이 있는 신뢰 네트워크(DBNs)의 구현을 효과적으로 지원할 수 있는가?
• RQ2 제안된 FEPCD 샘플링 방법은 CD 및 PCD와 같은 기존 방법과 비교해 수렴성과 성능 측면에서 어떻게 성능을 내는가?
• RQ3 DeeBNet은 다양한 데이터 모odal(이미지, 음성, 텍스트)에서 레이블이 없는 데이터로부터 의미 있는 표현을 얼마나 잘 학습할 수 있는가?
• RQ4 DeeBNet을 통해 구현된 DBN의 분류 성능은 기준 데이터셋에서 최신 기술 수준의 분류기와 비교해 일치하거나 이를 초월하는가?

주요 결과

• MNIST 데이터셋에서 DeeBNet은 최신 기술 수준의 방법들과 비교해 유사한 분류 오류율을 달성하여, 레이블이 없는 데이터로부터 효과적인 특징 학습을 수행함을 입증했다.
• ISOLET 음성 데이터셋에서 도구상자는 비지도 사전 훈련을 통해 분류에 유용한 특징을 성공적으로 추출하여 뛰어난 분류 성능을 보였다.
• 20 Newsgroups 텍스트 데이터셋에서 도구상자는 원시 텍스트로부터 의미 있는 표현을 학습하여 경쟁 가능한 분류 정확도를 달성했다.
• 실험 결과로 제안된 FEPCD 샘플링 방법은 기존의 CD 및 PCD 방법보다 수렴성과 안정성이 향상됨을 보였다.
• 도구상자는 MATLAB과 GNU Octave 모두에서 정상적으로 실행되어 교차 플랫폼 호환성을 확인했다.
• GPU 지원 통합으로 인해 특히 깊은 아키텍처와 대규모 데이터셋에서 훈련 속도가 크게 향상되었다.