[논문 리뷰] Expressive Power of Conditional Restricted Boltzmann Machines

Guido Montúfar, Nihat Ay외 1명|arXiv (Cornell University)|2014. 02. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 3

한 줄 요약

이 논문은 조건부 제한 볼츠만 기계(CRBMs)의 표현 능력을 조사하며, 입력 변수가 주어졌을 때 출력 변수에 대한 임의의 조건부 확률 분포를 유니버설하게 근사할 수 있음을 증명한다. 주요 결과로는, 유니버설 근사를 달성하기 위해 필요한 최소 은닉 유닛 수에 대한 날카운 경계를 설정하며, 출력 크기와 상대적으로 로그 수준의 은닉 유닛을 갖는 CRBMs가 이 능력을 달성할 수 있음을 보여준다.

ABSTRACT

Conditional restricted Boltzmann machines are undirected stochastic neural networks with a layer of input and output units connected bipartitely to a layer of hidden units. These networks define models of conditional probability distributions on the states of the output units given the states of the input units, parametrized by interaction weights and biases. We address the representational power of these models, proving results on the minimal size of universal approximators of condi-

연구 동기 및 목표

• 어떠한 조건부 확률 분포를 유니버설하게 근사하기 위해 조건부 제한 볼츠만 기계(CRBM)가 필요한 최소 은닉 유닛 수를 결정하는 것.
• 입력과 출력 변수 간의 복잡한 조건부 의존성을 모델링할 때 CRBMs의 표현 능력에 대한 이론적 경계를 설정하는 것.
• CRBM 아키텍처에서 모델 크기(은닉 유닛 수)와 표현 능력 사이의 상호 교환 관계를 분석하는 것.
• CRBMs가 조건부 분포의 유니버설 근사기로 기능할 수 있는 조건을 공식적으로 특성화하는 것.

제안 방법

• 저자는 입력, 은닉, 출력 유닛 간 이원적 연결을 갖는 비방향 확률 신경망으로서 CRBMs를 모델링한다.
• 입력 유닛이 주어졌을 때 출력 유닛에 대한 임의의 조건부 확률 분포를 표현하기 위해 필요한 은닉 유닛 수에 대한 이론적 경계를 유도한다.
• 정보 이론적 및 조합론적 추론을 활용하여 최소 은닉 유닛 수에 대한 하한 및 상한 경계를 설정한다.
• 출력 공간 크기의 로그 수준의 은닉 유닛 수로 유니버설 근사를 달성하는 명시적 CRBM 아키텍처를 구성하는 방법을 사용한다.
• 조건부 분포를 지수족으로 표현하고, CRBM 에너지 함수를 통한 표현 분석에 기반한 증명 기법을 활용한다.
• 차원 수 증거와 엔트로피 경계를 사용하여, O(log |Y|) 은닉 유닛을 갖는 CRBMs가 출력 공간 Y에 대한 임의의 조건부 분포를 표현할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 CRBM이 출력 변수에 대한 임의의 조건부 확률 분포를 유니버설하게 근사하기 위해 필요한 최소 은닉 유닛 수는 얼마인가?
• RQ2 출력 크기와 비례하는 부분선형 수준의 은닉 유닛을 갖는 CRBMs가 모든 가능한 조건부 분포를 표현할 수 있는가?
• RQ3 파rameter 효율성 측면에서, CRBMs의 표현 능력은 다른 조건부 생성 모델과 비교해 어떻게 되는가?
• RQ4 CRBMs의 유니버설 근사 능력에 제한을 둔다거나 가능하게 하는 구조적 제약 조건은 무엇인가?
• RQ5 유니버설 근사를 달성하기 위해 필요한 CRBMs의 크기에 대한 날카운 이론적 경계가 존재하는가?

주요 결과

• 출력 공간 Y의 크기가 |Y|일 때, O(log |Y|) 은닉 유닛을 갖는 CRBMs는 Y에 대한 임의의 조건부 확률 분포를 유니버설하게 근사할 수 있다.
• 유니버설 근사를 달성하기 위해 필요한 최소 은닉 유닛 수는 Θ(log |Y|)로 엄밀히 경계되며, 이는 이 경계가 필수적이며 충분함을 의미한다.
• 논문은 CRBMs가 출력 공간 크기의 로그 수준의 은닉 유닛 수로 유니버설 근사를 달성할 수 있음을 확인하며, 모델 복잡도를 크게 줄였다.
• 이론적 분석은 CRBMs가 은닉 유닛 수가 로그 임계값을 충족할 경우, 어떤 조건부 분포라도 표현할 수 있음을 확인한다.
• 결과는 CRBMs가 표현 능력 측면에서 매우 효율적이며, 출력 공간 크기보다 훨씬 적은 파라미터로도 유니버설성을 달성할 수 있음을 보여준다.
• 이러한 발견은 압축되고 표현력이 뛰어난 모델이 필수적인 조건부 모델링 작업에서 CRBMs를 사용할 수 있는 공식적 근거를 제공한다.