[논문 리뷰] Discrete Restricted Boltzmann Machines

Guido Montúfar, Jason Morton|arXiv (Cornell University)|2013. 01. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 38인용 수 4

한 줄 요약

이 논문은 이산 visible 및 hidden 단위를 가진 확률 모델로서 이산 제한된 볼츠만 기계(dRBMs)를 소개한다. 이는 이진 RBM과 나이브 베이즈 모델을 일반화한 것으로, 기하학적 및 대수적 도구를 통해 그 표현 능력을 규명한다. 이로써 충분한 수의 hidden 단위를 가질 경우 어떤 visible 분포라도 임의의 정밀도로 근사할 수 있음을 보이며, 토로픽 기하학과 코드 이론을 통해 그 차원을 계산한다.

ABSTRACT

We describe discrete restricted Boltzmann machines: probabilistic graphical models with bipartite interactions between visible and hidden discrete variables. Examples are binary restricted Boltzmann machines and discrete naive Bayes models. We detail the inference functions and distributed representations arising in these models in terms of configurations of projected products of simplices and normal fans of products of simplices. We bound the number of hidden variables, depending on the cardinalities of their state spaces, for which these models can approximate any probability distribution on their visible states to any given accuracy. In addition, we use algebraic methods and coding theory to compute their dimension.

연구 동기 및 목표

• 이산 RBM을 혼합된 제품 분포와 제한된 혼합된 제품 분포의 곱으로 공식화한다.
• 단체의 투영된 단체의 곱의 구성(configuration)을 사용하여 이산 RBM의 분산 표현과 추론 함수를 분석한다.
• 이산 RBM이 어떤 visible 분포도 유니버설하게 근사할 수 있는 최대 hidden 단위 수(상태공간의 기수에 따라 다름)를 결정한다.
• 대수기하학과 토로픽 기하학 기법을 사용하여 이산 RBM 모델의 차원을 계산한다.
• 이산 RBM이 기대하는 차원을 달성하는 조건을 설정하고, 이를 코드 이론과 볼록 기하학에 연결한다.

제안 방법

• 이산 RBM을 비이항 상호작용을 가진 이산 visible 및 hidden 단위를 가진 지수가족 모델로 공식화한다.
• 추론 함수를 단체의 곱과 그 정규 피라미드(normal fans)의 투영으로 표현한다.
• 특히 토로픽 극한에서의 대수적 구조를 모델링하기 위해 토로픽 기하학을 적용한다.
• 코드의 크기 하한을 도출하기 위해 코드 이론의 경계(예: 지르베르트-바르샤모프 경계)를 사용한다. 이는 모델 차원을 결정한다.
• 단체의 정규 피라미드로 잘린 볼록 지지 다면체(polytopes)를 사용하여 차원 분석을 수행한다.
• 대수통계학과 조합론의 결과를 활용하여 특정 조건 하에서 모델의 기대 차원을 계산한다.

실험 결과

연구 질문

• RQ1 주어진 상태공간 크기에서 이산 RBM이 visible 상태의 어떤 확률 분포도 유니버설하게 근사할 수 있는 최대 hidden 단위 수는 얼마인가?
• RQ2 이산 RBM이 기대하는 차원을 달성하는 조건은 무엇이며, 이는 단체와 그 정규 피라미드의 기하학과 어떻게 관련되는가?
• RQ3 근사 오차와 분산 표현 측면에서 이산 RBM의 표현 능력은 이진 RBM과 나이브 베이즈 모델에 비해 어떻게 비교되는가?
• RQ4 토로픽 기하학과 조합적 코드 이론을 사용하여 이산 RBM 모델의 차원을 정확히 계산할 수 있는가?
• RQ5 이산 RBM의 차원과 오류 수정 코드의 커버링 반경 또는 최소 거리 사이의 관계는 무엇인가?

주요 결과

• 충분한 수의 hidden 단위를 가질 경우 이산 RBM은 visible 상태의 어떤 확률 분포라도 임의의 정밀도로 근사할 수 있으며, 최대 근사 오차는 총 hidden 상태 수에 대해 최소한 로그 수준으로 감소한다.
• hidden 단위의 상태공간과 visible 구성이 특정 조합 조건(예: 충분히 큰 하밍 볼을 포함)을 만족할 경우 모델은 기대하는 차원을 달성한다.
• 이산 visible 단위와 $ m < 2^{n - ig floor ig floor $ 인 hidden 단위를 가진 경우, 이산 RBM은 기대하는 차원을 가지며, 이는 이전의 이진 RBM 결과를 일반화한다.
• 토로픽 이산 RBM 모델의 차원은 주어진 커버링 반경을 가진 최대 코드의 크기에 의해 결정되며, 이는 모델 차원과 코드 이론을 연결한다.
• visible 공간에 $ m $ 개의 서로소 하밍 볼이 반경 $ 2| ilde{Y}_i| - 3 $ 으로 존재하고, 여집합(complement)이 전순위(full rank)를 가질 경우, 토로픽 모델은 기대하는 차원을 달성한다.
• 이산 RBM의 차원은 단체의 곱의 정규 피라미드로 잘린 볼록 지지 다면체의 자르기(slicings)를 통해 계산할 수 있으며, 이는 기하학적-조합론적 프레임워크를 제공한다.