[논문 리뷰] Expressive Power and Approximation Errors of Restricted Boltzmann Machines

Guido Montúfar, Johannes Rauh외 1명|arXiv (Cornell University)|2014. 06. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 39

한 줄 요약

이 논문은 $n$개의 가시 단위와 $m$개의 은닉 단위를 가진 제한된 볼츠만 머신(Restricted Boltzmann Machine, RBM)이 달성할 수 있는 최고의 근사치와 임의의 목표 확률 분포 사이의 최대 쿨백-라이블러 발산에 대해 명시적인 상한을 설정한다. 입자형 분포의 큐빅 분할에 대한 혼합 모델의 부분모델을 분석함으로써, 근사 오차는 $n - \lfloor \log(m+1) \rfloor - \frac{m+1}{2^{ flq \log(m+1) \rfloor}} \approx (n-1) - \log(m+1)$로 유계임을 도출하며, 원하는 오차 허용 범위를 확보하기 위해 RBM 크기를 선택하는 데 이론적 근거를 제공한다.

ABSTRACT

We present explicit classes of probability distributions that can be learned by Restricted Boltzmann Machines (RBMs) depending on the number of units that they contain, and which are representative for the expressive power of the model. We use this to show that the maximal Kullback-Leibler divergence to the RBM model with $n$ visible and $m$ hidden units is bounded from above by $n - \left\lfloor \log(m+1) ight floor - \frac{m+1}{2^{\left\lfloor\log(m+1) ight floor}} \approx (n -1) - \log(m+1)$. In this way we can specify the number of hidden units that guarantees a sufficiently rich model containing different classes of distributions and respecting a given error tolerance.

연구 동기 및 목표

• 유한한 은닉 단위를 가진 제한된 볼츠만 머신(RBM)의 표현 능력을 이해하기 위해.
• 특히 큐빅 분할에 대한 독립 모델의 혼합으로 표현 가능한 확률 분포의 명시적 클래스를 규명하기 위해.
• 임의의 분포를 $n$개의 가시 단위와 $m$개의 은닉 단위를 가진 RBM으로 근사할 때의 최악의 경우 오차를 정량화하기 위해.
• 실제 응용에서 원하는 오차 허용 범위를 확보하기 위해 은닉 단위의 수를 선택하는 데 이론적 지침을 제공하기 위해.

제안 방법

• 저자들은 이진 입력 공간 $\{0,1\}^n$ 상의 큐빅 분할에 대한 독립 분포의 혼합으로 구성된 RBM의 부분모델을 분석한다.
• 유도된 근사 오차의 상한은 귀납법과 분할 논증을 사용하여 임의의 분포에서 이러한 부분모델 내의 가장 가까운 분포로의 쿨백-라이블러 발산에 대해 유도된다.
• 입력 공간을 블록 크기 $2^{n_i}$로 분할함으로써, 각 블록의 변수 수 $n_i$를 나타내며, 개별 오차 기여도를 합산한다.
• 최적의 분할은 $\lfloor \log(m+1) \rfloor$개의 블록을 크기 $2^{k-1}$로, 나머지를 크기 $2^k$로 하는 것으로 밝혀지며, 여기서 $k = n - \lfloor \log(m+1) \rfloor$이다.
• 최종 상한은 이러한 분할에 대해 총 오차를 최소화함으로써 도출되며, 식 $n - \lfloor \log(m+1) \rfloor - \frac{m+1}{2^{\lfloor \log(m+1) \rfloor}}$로 표현된다.
• 분석은 RBM 모델의 차원과 그 통계 다양체 기하학에 관한 기존 결과를 활용한다.

실험 결과

연구 질문

• RQ1 $n$개의 가시 단위와 $m$개의 은닉 단위를 가진 RBM이 어떤 확률 분포 클래스를 표현할 수 있는가?
• RQ2 임의의 분포와 그 RBM 모델 내에서의 최선의 근사치 사이의 최악의 경우 쿨백-라이블러 발산은 얼마인가?
• RQ3 원하는 근사 오차 허용 범위를 확보하기 위해 은닉 단위의 수를 어떻게 선택할 수 있는가?
• RQ4 표준화된 분할에 대한 독립 분포의 혼합을 통해 RBM의 표현 능력을 기술할 수 있는가?

주요 결과

• 임의의 분포와 $\operatorname{RBM}_{n,m}$ 내에서의 최선의 근사치 사이의 최대 쿨백-라이블러 발산은 $n - \lfloor \log(m+1) \rfloor - \frac{m+1}{2^{\lfloor \log(m+1) \rfloor}}$ 이하로 유계이다.
• 이 상한은 $(n-1) - \log(m+1)$로 근사되며, 오차 허용 범위에 대한 실용적인 추정치를 제공한다.
• 이 상한은 입력 공간의 큐빅 분할에 대해 $m+1$개의 독립 분포 혼합을 분석함으로써 도출된다.
• 이 결과는 주어진 오차 허용 범위에 대해 이를 달성하기 위한 최소 은닉 단위 수를 계산할 수 있음을 시사한다.
• 컴퓨터 실험 결과, 이 상한은 특히 $n$ 이 작은 경우 진짜 근사 오차의 주요 크기 순서를 잘 반영함을 확인한다.
• 이 상한은 이전의 추정치보다 더 날카롭고, 이전에 오차 상한을 약 0.1 미만으로 과대평가한 오류를 수정한다.