[논문 리뷰] Joint Training Deep Boltzmann Machines for Classification

Ian Goodfellow, Aaron Courville외 1명|arXiv (Cornell University)|2013. 01. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 8인용 수 13

한 줄 요약

이 논문은 깊이 있는 볼츠만 기계(DBMs)에서 공동 학습을 위한 다중 예측(MP) 훈련을 도입하여, 탐욕적 사전 훈련 없이 종단 간 훈련을 가능하게 한다. 이 방법은 새로운 변분 근사와 다중 추론 기법을 사용하여 단일 통합 모델로 최신 기준 분류 정확도(0.91% 테스트 오차)를 달성하며, 이는 이전 방법이 분류를 위해 별도의 MLP로 미세 조정이 필요로 했던 것과 대비된다.

ABSTRACT

We introduce a new method for training deep Boltzmann machines jointly. Prior methods of training DBMs require an initial learning pass that trains the model greedily, one layer at a time, or do not perform well on classification tasks. In our approach, we train all layers of the DBM simultaneously, using a novel training procedure called multi-prediction training. The resulting model can either be interpreted as a single generative model trained to maximize a variational approximation to the generalized pseudolikelihood, or as a family of recurrent networks that share parameters and may be approximately averaged together using a novel technique we call the multi-inference trick. We show that our approach performs competitively for classification and outperforms previous methods in terms of accuracy of approximate inference and classification with missing inputs.

연구 동기 및 목표

• 분류를 위해 별도의 MLP로 미세 조정이 필요로 하는 기존 DBM 훈련 방법의 한계를 해결한다. 이는 탐욕적이고 계층적인 사전 훈련을 수반한다.
• 모든 DBM 구성 요소, 특히 클래스 레이블까지 공동 최적화하는 통합된 훈련 절차를 개발한다.
• 표준 분류 외에도, 손실된 입력 데이터나 일반적인 확률적 질의와 같은 도전적인 상황에서도 성능을 유지를 할 수 있도록 DBM을 설계한다.
• 작업에 특화된 아키텍처 확장 없이도, 단일로 생성적으로 훈련된 DBM이 태스크에 특화된 모델의 성능을 따라하거나 초월할 수 있음을 입증한다.

제안 방법

• 모든 DBM 계층의 공동 훈련을 위한 변분 근사의 최대화를 목표로 하는 새로운 훈련 절차인 다중 예측(MP) 훈련을 도입한다.
• 공유된 파rameter를 가진 반복적 네트워크의 가족으로 DBM을 재구성하여, 다중 추론 기법을 통해 근사 평균화를 실현함으로써 추론의 안정성을 향상시킨다.
• 블록 기반 기브스 샘플링과 고정점 업데이트를 사용한 평균 장 추론을 통해 기울기 추정을 효율적으로 수행하며, 계층 간 조건부 독립성을 활용한다.
• Rao-Blackwellization과 평균 장 성분을 포함한 특수한 음성 단계를 적용하여 PCD 훈련 중 기울기 추정의 분산을 줄인다.
• 단일 목적 함수를 사용해 전체 DBM을 한 단계에서 훈련함으로써, 탐욕적 사전 훈련이나 별도의 미세 조정 네트워크가 필요 없도록 한다.
• 다중 추론 기법을 활용해 여러 추론 경로를 조합함으로써, 특히 입력 데이터가 손실된 경우에도 강건성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 탐욕적 사전 훈련 없이도 모든 계층을 공동으로 훈련하면서도 강력한 분류 성능을 유지할 수 있는가?
• RQ2 기존 DBM 훈련 방식(중앙화 여부에 관계없이)과 비교할 때, 다중 예측 훈련이 더 나은 근사 추론과 분류 정확도를 제공하는가?
• RQ3 단일로 생성적으로 훈련된 DBM이 작업에 특화된 미세 조정이 필요한 모델과 비교해도 손실된 입력이나 일반적인 질의를 동일하게 효과적으로 처리할 수 있는가?
• RQ4 MP-DBM의 성능은 Salakhutdinov & Hinton(2009)의 최신 기준 DBM 방법과 비교해 테스트 오차와 하이퍼파rameter 설정에 대한 민감도 측면에서 어떻게 나타나는가?
• RQ5 다중 추론 기법이 확률적 DBM 추론의 품질과 일반화 능력을 어느 정도 향상시키는가?

주요 결과

• MP-DBM는 단일 단계에서 모든 계층을 공동 훈련함으로써 MNIST에서 0.91%의 테스트 오차를 기록하며, 별도의 MLP로 미세 조정이 필요한 이전 최고 성능 방법(0.95%)을 뛰어넘었다.
• MP 훈련은 중심화 기반 방법에 비해 하이퍼파rameter 설정에 훨씬 덜 민감하며, 다양한 학습률과 모멘텀 스케줄링에서도 일관된 성능을 보였다.
• 손실된 입력 데이터로 분류할 경우, MP-DBM은 대부분의 손실 수준에서 표준 DBM과 중심화 기반 DBM을 모두 능가했다.
• 다중 변수가 손실된 일반적인 확률적 질의 상황에서는, 특히 더 큰 질의 세트에서 표준 및 중심화 DBM에 비해 MP-DBM이 뛰어난 성능을 보였다.
• 숨은 유닛 수를 두 배로 늘리고 다중 추론 기법을 적용한 최고 성능의 MP-DBM은 0.91%의 테스트 오차를 기록했으며, 별도의 MLP 헤드를 사용하는 모델의 성능을 따라하거나 초월했다.
• 이 방법을 통해 단일 통합 모델이 생성적 모델로서의 강력한 성능과 동시에 정확한 분류자로서의 성능을 동시에 제공할 수 있게 되었으며, 작업에 특화된 아키텍처 확장의 필요성을 제거했다.