[논문 리뷰] A brief survey on deep belief networks and introducing a new object oriented MATLAB toolbox (DeeBNet).

Mohammad Ali Keyvanrad, Mohammad Mehdi Homayounpour|arXiv (Cornell University)|2014. 08. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 72

한 줄 요약

이 논문은 깊이 있는 신뢰 네트워크(DBNs)를 구현하기 위한 오픈소스, 객체지향적 MATLAB/Octave 도구상자인 DeeBNet을 소개한다. 이 도구상자는 다수의 RBM 유형, 샘플링 방법(새로운 FEPCD 포함), 희소성 기법, GPU 가속 기능을 지원한다. MNIST, ISOLET, 20 Newsgroups에서의 실험을 통해 이 도구상자는 레이블이 없는 데이터로부터 효과적인 표현을 학습하고 최신 기준 모델과 비교할 만한 분류 오차를 달성함을 보였다.

ABSTRACT

Nowadays, this is very popular to use the deep architectures in machine learning. Deep Belief Networks (DBNs) are deep architectures that use stack of Restricted Boltzmann Machines (RBM) to create a powerful generative model using training data. DBNs have many ability like feature extraction and classification that are used in many applications like image processing, speech processing and etc. This paper introduces a new object oriented MATLAB toolbox with most of abilities needed for the implementation of DBNs. In the new version, the toolbox can be used in Octave. According to the results of the experiments conducted on MNIST (image), ISOLET (speech), and 20 Newsgroups (text) datasets, it was shown that the toolbox can learn automatically a good representation of the input from unlabeled data with better discrimination between different classes. Also on all datasets, the obtained classification errors are comparable to those of state of the art classifiers. In addition, the toolbox supports different sampling methods (e.g. Gibbs, CD, PCD and our new FEPCD method), different sparsity methods (quadratic, rate distortion and our new normal method), different RBM types (generative and discriminative), using GPU, etc. The toolbox is a user-friendly open source software and is freely available on the website this http URL .

연구 동기 및 목표

• 연구 및 적용 분야에서 깊이 있는 신뢰 네트워크(DBNs)를 구현하기 위한 접근 가능하고 유연하며 효율적인 도구의 증가하는 필요를 해결하기 위해.
• 다양한 DBN 구성과 학습 기법을 지원하는 사용자 친화적 오픈소스 MATLAB/Octave 도구상자를 제공하기 위해.
• 다양한 데이터 유형에서 경쟁 가능한 분류 성능를 달성하면서도 레이블이 없는 데이터로부터 자동으로 특징을 학습하기 위해.
• FEPCD 샘플링과 같은 새로운 방법과 함께 DBN의 구현 기능을 확장하기 위해.
• 학술 및 연구 환경에서 더 넓은 접근성을 확보하기 위해 MATLAB과 Octave 모두 호환되도록 보장하기 위해.

제안 방법

• 모듈화되고 확장 가능한 DBN 개발을 지원하기 위해 객체지향 설계로 도구상자를 구현하였다.
• 깊이 있는 생성 모델링의 핵심 구성 요소로 제한된 볼츠만 기계(RBMs)의 스택을 사용하였다.
• Gibbs, 대비 기울기(Contrastive Divergence, CD), 지속적 CD(PCA), 그리고 수렴성을 향상시키기 위한 새로운 FEPCD 방법을 포함한 다수의 학습 알고리즘을 지원하였다.
• 특징 학습을 향상시키기 위해 이차형, 비용-왜곡, 그리고 새로 제안된 정규 희소성 방법을 사용하여 희소성을 강제하였다.
• 생성형 및 분류형 RBM 변종을 모두 지원하고, 더 빠른 학습을 위해 GPU 가속을 통합하였다.
• 연구 커뮤니티의 접근성을 높이기 위해 MATLAB과 Octave 모두 호환되도록 설계되었다.

실험 결과

연구 질문

• RQ1 사용자 친화적이고 오픈소스인 도구상자는 다양한 기계학습 작업에서 깊이 있는 신뢰 네트워크(DBNs)의 구현을 효과적으로 지원할 수 있는가?
• RQ2 제안된 FEPCD 샘플링 방법은 CD 및 PCD와 같은 기존 방법과 비교해 학습 효율성과 표현 품질 측면에서 얼마나 우수한가?
• RQ3 이 도구상자는 이미지, 음성, 텍스트 데이터 세트에서 레이블이 없는 데이터로부터 의미 있는 특징을 얼마나 잘 학습할 수 있는가?
• RQ4 이 도구상자는 표준 벤치마크 데이터 세트에서 최신 기준 모델과 경쟁 가능한 분류 성능를 달성하는가?
• RQ5 새로 제안된 정규 방법을 포함한 신규 희소성 방법들은 특징의 분류 능력을 얼마나 향상시키는가?

주요 결과

• DeeBNet 도구상자는 MNIST, ISOLET, 20 Newsgroups 데이터 세트에서 레이블이 없는 데이터로부터 효과적이고 계층적인 표현을 성공적으로 학습하였다.
• 이 도구상자가 달성한 분류 오차는 세 가지 벤치마크 데이터 세트에서 최신 기준 분류기와 비교해 유사한 수준이었다.
• 새로운 FEPCD 샘플링 방법은 학습 안정성과 수렴성을 향상시켜 더 나은 특징 학습에 기여하였다.
• 다양한 희소성 방법, 특히 새로 제안된 정규 방법의 포함으로 특징의 분류 능력과 모델 성능이 향상되었다.
• 이 도구상자는 MATLAB 및 Octave 환경 모두에서 뛰어난 호환성과 기능성을 보였다.
• GPU 지원은 학습 속도를 크게 향상시켜 대규모 딥 러닝 실험에 실용적인 도구상자가 되게 하였다.