[논문 리뷰] Geometry and Expressive Power of Conditional Restricted Boltzmann Machines

Guido Montúfar, Nihat Ay외 1명|arXiv (Cornell University)|2014. 02. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 10

한 줄 요약

이 논문은 조건부 제한 동결 막대기 모델(CRBMs)의 표현 능력을 조사하며, 임의의 조건부 분포와 결정적 정책을 근사할 수 있는 능력에 대한 경계를 증명한다. m개의 은닉 유닛을 가진 CRBMs는 오직 m ≥ 2^k − 1일 때만 임의의 조건부 분포를 보편적으로 근사할 수 있으며, 모델 차원과 근사 오차의 기하학적 및 대수적 분석을 통해 표현 능력을 규명한다.

ABSTRACT

Conditional restricted Boltzmann machines are undirected stochastic neural networks with a layer of input and output units connected bipartitely to a layer of hidden units. These networks define models of conditional probability distributions on the states of the output units given the states of the input units, parametrized by interaction weights and biases. We address the representational power of these models, proving results their ability to represent conditional Markov random fields and conditional distributions with restricted supports, the minimal size of universal approximators, the maximal model approximation errors, and on the dimension of the set of representable conditional distributions. We contribute new tools for investigating conditional probability models, which allow us to improve the results that can be derived from existing work on restricted Boltzmann machine probability models.

연구 동기 및 목표

• 조건부 제한 동결 막대기 모델(CRBMs)이 조건부 확률 분포를 모델링하는 데 있어 표현 능력을 이해하는 것.
• CRBM이 조건부 분포의 보편 근사자로 기능하기 위해 필요한 최소 은닉 유닛 수를 결정하는 것.
• 표현 가능한 조건부 분포 집합의 차원과 도달 가능한 최대 근사 오차를 분석하는 것.
• CRBMs가 임의로 잘 근사할 수 있는 결정적 정책의 클래스를 조사하는 것.
• 조건부 모델에 특화된 새로운 이론적 도구를 개발하여 표준 RBM 이론 결과를 확장하는 것.

제안 방법

• 입력에 따라 변하는 은닉 유닛의 편향으로 매개변수화된 RBM의 가족으로서 CRBMs를 수식적으로 정의하며, 입력 간에 공유되는 가중치와 가시 유닛의 편향을 가진다.
• 대수적 통계와 정보 기하학 도구를 사용하여 모델 다양체의 기하학을 분석함으로써 표현 가능한 조건부 분포 집합의 기대 차원을 결정한다.
• 조합론적 및 선형 임계 함수 이론을 사용하여 조건부 분포의 보편 근사에 필요한 은닉 유닛 수에 대한 상한과 하한을 유도한다.
• 선형 임계 함수(LTFs)에 대한 결과를 적용하여 근사 가능한 결정적 정책의 수를 경계하며, CRBMs가 두 개의 LTF의 조합에 의해 제한됨을 보여준다.
• 근사 오차를 정량화하기 위해 칼리브라-라이블러 발산을 사용하고, 고정된 모델 크기에 대해 도달 가능한 최소 오차에 대한 경계를 유도한다.
• CRBM이 결정적 정책 f(x)를 임의로 잘 근사할 수 있는 것은 오직 정책 f가 두 개의 선형 임계 함수의 조합의 고정점으로 나타날 때에만 가능하다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 CRBM이 임의의 조건부 분포를 보편적으로 근사하기 위해 필요한 최소 은닉 유닛 수는 얼마인가?
• RQ2 고정된 수의 은닉 유닛을 가진 CRBMs가 표현하거나 근사할 수 있는 조건부 분포의 클래스는 무엇인가?
• RQ3 주어진 입력, 출력 및 은닉 유닛 수에 대해 CRBM이 표현할 수 있는 조건부 분포 집합의 차원은 얼마인가?
• RQ4 주어진 CRBM 아키텍처에 대해 칼리브라-라이블러 근사 오차는 얼마나 작아질 수 있는가?
• RQ5 어떤 조건에서 CRBM이 결정적 정책을 임의로 잘 근사할 수 있는가?

주요 결과

• 입력 유닛 k개, 출력 유닛 n개, 은닉 유닛 m개를 가진 CRBM에서 표현 가능한 조건부 분포 집합의 차원은 일반 조건 하에서 자유 매개변수의 수, 즉 k·n + k·m + n·m + m과 일치한다.
• CRBM이 임의의 조건부 분포를 보편적으로 근사할 수 있는 것은 은닉 유닛 수 m이 m ≥ 2^k − 1를 만족할 때에만 가능하며, 이는 결정적 정책의 보편 근사에 대해 날카로운 경계이다.
• CRBM이 임의로 잘 근사할 수 있는 결정적 정책의 수는 2^{m(n+k)^2 + n m^2} 이하로 경계되며, 이는 총 가능한 결정적 정책 수인 2^{n 2^k}에 비해 상당히 작다.
• CRBM이 결정적 정책 f: {0,1}^k → {0,1}^n을 임의로 잘 근사할 수 있는 것은 오직 f가 두 개의 선형 임계 함수의 조합의 고정점으로 나타날 때에만 가능하다: 하나는 {0,1}^{k+n}에서 {0,1}^m로, 다른 하나는 {0,1}^m에서 {0,1}^n으로 향한다.
• 은닉 유닛 수가 m인 CRBM의 최소 근사 오차는 m에 따라 감소하는 함수로 아래에서 경계되며, m이 증가함에 따라 오차를 임의로 작게 만들 수 있다.
• CRBM이 조건부 분포를 보편적으로 근사하기 위해서는 은닉 유닛 수가 적어도 2^k − 1여야 하며, 이는 k비트 입력에 대한 결정적 함수의 보편 근사에 필요한 최소 크기와 정확히 일치한다.