[논문 리뷰] Deep Narrow Boltzmann Machines are Universal Approximators

Guido Montúfar|arXiv (Cornell University)|2014. 11. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 6

한 줄 요약

이 논문은 깊이와 넓이가 충분히 큰 깊은 좁은 볼츠만 기계(Deep Narrow Boltzmann Machines, DBMs)가, 특히 각 은닉층 크기가 입력층 크기와 동일한 경우, 입력 유닛 위의 임의의 확률 분포를 보편적으로 근사할 수 있음을 증명한다. 핵심 통찰은 특정 매개변수 영역 내에서 DBMs가 순방향 전파 네트워크로 간주될 수 있으며, 이는 순차적 분석을 가능하게 하고, 그 표현 능력이 좁은 시그모이드 신뢰망과 제한된 볼츠만 기계만큼이라도 높다는 것을 보장한다.

ABSTRACT

We show that deep narrow Boltzmann machines are universal approximators of probability distributions on the activities of their visible units, provided they have sufficiently many hidden layers, each containing the same number of units as the visible layer. We show that, within certain parameter domains, deep Boltzmann machines can be studied as feedforward networks. We provide upper and lower bounds on the sufficient depth and width of universal approximators. These results settle various intuitions regarding undirected networks and, in particular, they show that deep narrow Boltzmann machines are at least as compact universal approximators as narrow sigmoid belief networks and restricted Boltzmann machines, with respect to the currently available bounds for those models.

연구 동기 및 목표

• 비방향적 깊은 네트워크 분야에서 오랫동안 미해결이었던 문제인 깊은 좁은 볼츠만 기계의 보편 근사 성질을 확립하기 위해.
• 비방향적 깊은 네트워크가 깊은 신뢰망과 같은 방향적 대안들과 동일한 표현 능력을 가져야 한다는 직관을 해결하기 위해.
• 깊은 좁은 DBMs에서 보편 근사를 달성하기 위해 필요한 깊이와 넓이에 대한 이론적 한계를 제시하기 위해.
• 특정 매개변수 조건 하에서 DBMs가 순방향 전파 네트워크로 분석될 수 있음을 보여주어 순차적 표현 학습이 가능하도록 하기 위해.
• 기존의 근사 한계를 기반으로, 제한된 볼츠만 기계와 깊은 신뢰망에 비해 DBMs의 압축성과 표현 효율성을 비교하기 위해.

제안 방법

• 상향 신호를 중립화시켜 깊은 볼츠만 기계가 순방향 전파 네트워크처럼 행동하는 매개변수 영역을 식별함으로써, 확률 분포의 순차적 분석이 가능하도록 함.
• 깊은 신뢰망(DBNs)의 보편 근사 성질을 기준으로 삼아, 동일한 깊이와 넓이 제약 조건 하에서 DBMs가 그 표현 능력을 모방할 수 있음을 보여줌.
• Montúfar & Ay (2011)의 보조정리 9를 적용하여, 제한된 볼츠만 기계(RBMs)가 $ n_1 + 1 $개의 인접한 상태 쌍의 합집합 위의 임의의 분포를 근사할 수 있음을 증명함.
• Montúfar (2014)의 보조정리 10을 활용하여, 순방향 전파 계층이 특정 방향으로 입력 상태를 뒤집음으로써 근사 가능한 분포의 집합을 확장할 수 있음을 보여줌.
• 각 단계에서 RBM과 순방향 전파 계층의 성질을 활용하여, $ S^1 \to S^2 \to \cdots \to S^L = \{0,1\}^n $의 집합 시퀀스를 구성함으로써 이진 구성표를 점진적으로 모두 커버함.
• 차원 수 세기 방법을 사용하여 보편 근사를 위한 필수 조건을 유도함. 이는 입력 분포의 $ 2^n - 1 $차원 단체 공간과 DBM의 $ Ln^2 + (L+1)n $개 매개변수 수를 비교함.

실험 결과

연구 질문

• RQ1 깊은 좁은 볼츠만 기계는 입력 유닛 위의 임의의 확률 분포를 보편적으로 근사할 수 있는가?
• RQ2 비방향적 깊은 네트워크가 순방향 전파 네트워크로 분석될 수 있는 특정 매개변수 조건은 무엇인가?
• RQ3 깊은 좁은 DBMs의 표현 능력은 얕은 RBMs와 깊은 신뢰망에 비해 어떻게 비교되는가?
• RQ4 깊은 좁은 DBM이 보편 근사를 달성하기 위해 필요한 최소 깊이와 넓이는 얼마인가?
• RQ5 DBMs의 복합적 구조를 활용하여 근사 가능한 분포의 집합을 순차적으로 구성할 수 있는가?

주요 결과

• 각 은닉층 크기가 $ n $이고 $ L $개의 은닉층, $ n $개의 입력 유닛을 가진 깊은 좁은 볼츠만 기계는, $ L $이 충분히 클 경우 $ \{0,1\}^n $ 위의 임의의 확률 분포를 보편적으로 근사할 수 있다.
• 충분한 깊이 $ L $는 $ n = 2^k + k + 1 $일 때 $ L = \frac{2^{n-1}}{2^k} $로 유계가 되며, 이는 RBM과 순방향 전파 계층의 성질을 반복적으로 활용하여 근사 가능한 상태 집합을 확장함으로써 유도됨.
• 보편 근사를 위한 필수 조건은 매개변수 수 계산을 통해 도출됨: 매개변수 수 $ Ln^2 + (L+1)n $는 확률 단체의 차원인 $ 2^n - 1 $보다 크거나 같아야 함.
• 특정 매개변수 영역 내에서 DBM의 상단 부분이 상향 신호를 중립화함으로써, 네트워크가 순방향 전파 계층으로 작동하게 되어 순차적 분석이 가능해짐.
• 현재 이론적 한계를 기반으로 볼 때, 깊은 좁은 DBMs는 좁은 시그모이드 신뢰망과 제한된 볼츠만 기계만큼이나 압축적인 보편 근사자임이 입증됨.
• 이 논문은 비방향적 깊은 네트워크가 방향적 깊은 네트워크와 동일한 표현 능력을 달성할 수 있음을 보여주며, 오랫동안 지속된 직관을 엄밀한 증명으로 해결함.