[논문 리뷰] On the Expressive Efficiency of Sum Product Networks

James Martens, Venkatesh Medabalimi|arXiv (Cornell University)|2014. 11. 27.

Product Development and Customization인용 수 35

한 줄 요약

이 논문은 분해 가능성과 완전성(D&C) 조건을 갖춘 합-곱 네트워크(SPNe)가 특정 타당한 확률 분포를 효율적으로 표현할 수 없음을 보여준다. 특히 완전 그래프의 스패닝 트리 집합 위의 균일 분포를 대상으로 하며, 이는 효율적인 추론 능력에도 불구하고 그렇다. 주요 결과는 D&C SPN에 대해 깊이 계층을 증명하며, 깊이가 증가할수록 표현 효율성이 증가함을 보이며, 다른 깊은 모델이 효율적으로 포괄할 수 있지만 D&C SPN은 임의의 깊이에서도 포괄할 수 없는 구체적인 분포를 규명한다.

ABSTRACT

Sum Product Networks (SPNs) are a recently developed class of deep generative models which compute their associated unnormalized density functions using a special type of arithmetic circuit. When certain sufficient conditions, called the decomposability and completeness conditions (or "D&C" conditions), are imposed on the structure of these circuits, marginal densities and other useful quantities, which are typically intractable for other deep generative models, can be computed by what amounts to a single evaluation of the network (which is a property known as "validity"). However, the effect that the D&C conditions have on the capabilities of D&C SPNs is not well understood. In this work we analyze the D&C conditions, expose the various connections that D&C SPNs have with multilinear arithmetic circuits, and consider the question of how well they can capture various distributions as a function of their size and depth. Among our various contributions is a result which establishes the existence of a relatively simple distribution with fully tractable marginal densities which cannot be efficiently captured by D&C SPNs of any depth, but which can be efficiently captured by various other deep generative models. We also show that with each additional layer of depth permitted, the set of distributions which can be efficiently captured by D&C SPNs grows in size. This kind of "depth hierarchy" property has been widely conjectured to hold for various deep models, but has never been proven for any of them. Some of our other contributions include a new characterization of the D&C conditions as sufficient and necessary ones for a slightly strengthened notion of validity, and various state-machine characterizations of the types of computations that can be performed efficiently by D&C SPNs.

연구 동기 및 목표

• D&C 조건을 갖춘 합-곱 네트워크(SPNe)의 표현 효율성을 조사한다. 이 조건들은 타당한 추론을 가능하게 한다.
• D&C SPN이 모든 타당한 확률 분포, 특히 완전히 계산 가능한 주변확률과 분할 함수를 갖는 분포를 효율적으로 표현할 수 있는지 확인한다.
• D&C SPN의 표현 능력과 다른 깊은 생성 모델 간의 비교를 수행하며, 특히 매개변수 효율성 측면에서 분석한다.
• D&C SPN에 대해 공식적인 깊이 계층을 수립하며, 깊이 증가에 따라 표현 능력이 확장됨을 보여준다.

제안 방법

• 저자들은 다항식 선형 산술 회로와의 연결을 통해 D&C SPN을 분석하고, 상태기계 특성화를 사용하여 그 계산 능력을 모델링한다.
• 분리 분포를 구성한다: 완전 그래프 $K_m$의 스패닝 트리의 인접행렬 위의 균일 분포.
• 모든 2색 칠하기로 $K_m$의 간선를 칠할 때, 최소 $m^3/60$개의 제약 삼각형(이색 삼각형)이 존재함을 증명한다. 이는 균형 잡힌 간선 수를 가정할 때 성립한다.
• 랜덤 워크 기반의 랜덤 스패닝 트리 샘플링 절차를 사용하여, 큰 수의 제약 조건을 만족하는 트리의 비율이 지수적으로 작다는 것을 보여준다.
• 확률적 경계를 적용하여, $C \geq m^3/60$ 제약 조건을 만족하는 스패닝 트리의 비율이 최대 $(1 - 1/60)^{m/360}$임을 증명한다. 이 값은 $m$에 따라 지수적으로 감소한다.
• 기존의 그래프 내 삼각형 수에 관한 결과를 활용하여, 유효한 SPN 구조의 수를 제약하고, 주요 정리를 이끌어낸다.

실험 결과

연구 질문

• RQ1 D&C SPN은 완전히 계산 가능한 주변확률과 분할 함수를 갖는 모든 타당한 확률 분포를 효율적으로 표현할 수 있는가?
• RQ2 다른 깊은 생성 모델이 효율적으로 포괄할 수 있지만, D&C SPN은 임의의 깊이에서도 포괄할 수 없는 분포가 존재하는가?
• RQ3 D&C SPN의 표현 능력은 깊이에 따라 증가하는가? 즉, 깊이 계층이 존재하는가?
• RQ4 D&C 조건은 SPN이 복잡한 분포를 표현하는 데 있어 어떤 구조적 제약를 가진다?

주요 결과

• 완전 그래프 $K_m$의 스패닝 트리의 인접행렬 위의 균일 분포는, 깊이에 관계없이 어떤 D&C SPN으로도 효율적으로 표현될 수 없다.
• 적어도 $n/3 \leq r \leq 2n/3$의 빨간색 간선를 갖는 $K_m$의 모든 2색 간선 칠하기에서, 제약 삼각형(이색 삼각형)의 수는 최소 $m^3/60$개 이상 존재한다. 이는 강력한 하한을 제공한다.
• 모든 제약 조건을 만족하는 스패닝 트리의 비율은 최대 $(1 - 1/60)^{m/360}$이며, 이는 $m$에 따라 지수적으로 감소한다. 이는 오직 무시할 만큼 작은 비율의 트리만이 모든 제약 조건을 만족할 수 있음을 의미한다.
• 이에 따라 D&C SPN은 분리 분포를 효율적으로 표현할 수 없으며, 필요한 제약 수가 $m$에 대해 초다항적으로 증가하고, 유효한 네트워크 구조의 수는 여전히 지수적으로 작기 때문이다.
• 이 논문은 D&C SPN에 대해 깊이 계층을 수립한다: 각 추가 레이어마다 효율적으로 표현 가능한 분포의 집합이 더 커진다.
• D&C 조건이 강화된 타당성의 개념에 대해 필수적이고 충분한 조건임을 입증하며, SPN 설계에서 이 조건의 역할을 새롭게 특성화한다.