[논문 리뷰] Exact training of Restricted Boltzmann machines on intrinsically low dimensional data

Aurélien Decelle, Cyril Furtlehner|arXiv (Cornell University)|2021. 03. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 8

한 줄 요약

이 논문은 저차원 구조를 가진 데이터에 대해 제한된 볼츠만 기계(Restricted Boltzmann Machines, RBMs)의 정확한 훈련 방법을 제안한다. 이는 쿨롱 상호작용을 이용한 모델 재구성으로 이루어지며, 표준 RBM 훈련이 제1계 상전이와 매개변수 갇힘으로 인해 실패하는 것으로 드러나고, 볼록 타협과 자연 기울기 방법을 도입하여 1차원 및 2차원 경우에 정확한 우도 계산과 유일한 해를 가능하게 한다.

ABSTRACT

The restricted Boltzmann machine is a basic machine learning tool able, in principle, to model the distribution of some arbitrary dataset. Its standard training procedure appears however delicate and obscure in many respects. We bring some new insights to it by considering the situation where the data have low intrinsic dimension, offering the possibility of an exact treatment and revealing a fundamental failure of the standard training procedure. The reasons for this failure extemdash~like the occurrence of first-order phase transitions during training~ extemdash \ are clarified thanks to a Coulomb interactions reformulation of the model. In addition a convex relaxation of the original optimization problem is formulated thereby resulting in a unique solution, obtained in precise numerical form on $d=1,2$ study cases, while a constrained linear regression solution can be conjectured on the basis of an information theory argument.

연구 동기 및 목표

• . 저차원 임베딩을 가진 데이터에서 표준 RBM 훈련의 근본적 실패 원인을 해결하기 위해.
• . 데이터의 저차원 구조를 활용하여 RBM 학습의 정확한 처리를 제공하기 위해.
• . 훈련 실패 원인, 예를 들어 제1계 상전이와 숨겨진 편향의 갇힘 등을 명확히 하기 위해.
• . RBM 최적화 문제의 볼록 타협을 제안하여 유일한 해를 도출하기 위해.
• . 정보이론적 논증을 통해 선형 회귀 해를 유도하고 수치적으로 검증하기 위해.

제안 방법

• . 스핀 구성에서 자화 모드와 횡방향 자유도로의 변수 변경을 통해 RBM을 쿨롱 상호작용 그림으로 재구성한다.
• . 스핀 구성에서 자화 모드와 횡방향 자유도로의 변수 변경을 도입한다.
• . 피셔 정보 계량을 사용하여 연속 시간 자연 기울기 동역학을 유도한다.
• . 대규모 변동 원리를 사용하여 분할 함수를 자화 제약 조건과 레지어르 변환으로 표현한다.
• . 자화 공간의 이산 근사를 사용하여 1차원 및 2차원 경우의 정확한 로그우도를 계산한다.
• . 수축성 동역학을 보장하고 스코어 함수의 노름을 모니터링하여 적응형 학습률 제어가 가능한 자연 기울기 업데이트 규칙을 적용한다.

실험 결과

연구 질문

• RQ1 . 왜 표준 RBM 훈련은 본질적으로 저차원 데이터에서 실패하는가?
• RQ2 . RBM 훈련 중 관찰된 제1계 상전이의 원인은 무엇인가?
• RQ3 . 저차원 데이터 가정 하에 비볼록적이고 계산이 불가능한 RBM 최적화 문제는 어떻게 정확히 해결할 수 있는가?
• RQ4 . 숨겨진 편향(zj)은 매개변수 갇힘과 모델 붕괴에 어떤 역할을 하는가?
• RQ5 . RBM 학습 문제의 볼록 타협은 고유한 해를 도출할 수 있는가?

주요 결과

• . 표준 RBM 훈련 절차는 제1계 상전이로 인해 실패하며, 이는 게비스 샘플링이 진짜 자화에서 벗어나게 만든다.
• . 숨겨진 편향 매개변수(zj)는 0 근처에 갇히며, 1차원에서는 많은 은닉 유닛이 있더라도 최대 두 개의 페로자성 상태로만 제한된다.
• . RBM의 쿨롱 상호작용 재구성은 1차원 및 2차원 경우에 정확한 로그우도 계산을 가능하게 한다.
• . 자연 기울기 방법은 수축성 동역학을 보장하고 스코어 함수의 노름을 모니터링하여 적응형 학습률 제어를 가능하게 한다.
• . 최적화 문제의 볼록 타협은 고유한 해를 도출하며, 정보이론적 논증을 통해 제약 조건이 붙은 선형 회귀 해가 추측된다.
• . 표준 RBM에서 쿨롱 RBM으로의 매핑은 많은 약한 특징을 사용할 경우 성능이 열 劣하며, 특히 은닉 유닛 수가 많고 2차원일 경우 두드러진다.