[논문 리뷰] Sum-Product-Quotient Networks

Or Sharir, Amnon Shashua|arXiv (Cornell University)|2017. 10. 12.

Formal Methods in Verification참고 문헌 13인용 수 4

한 줄 요약

이 논문은 조건부 확률을 직접 나눗셈을 통해 계산할 수 있도록 몫 노드를 도입한 Sum-Product-Quotient Networks (SPQNs)를 제안한다. 이는 SPN의 엄격한 분해 가능성과 완전성 조건을 완화함으로써 표현 효율성을 높인다. 주요 기여는 SPQNs가 SPNs보다 지수적 표현 효율성을 달성함을 증명한 점으로, 이는 지수적으로 큰 SPNs가 필요한 분포를 보다 컴act하게 표현할 수 있음을 의미한다.

ABSTRACT

We present a novel tractable generative model that extends Sum-Product Networks (SPNs) and significantly boosts their power. We call it Sum-Product-Quotient Networks (SPQNs), whose core concept is to incorporate conditional distributions into the model by direct computation using quotient nodes, e.g. $P(A|B) = \frac{P(A,B)}{P(B)}$. We provide sufficient conditions for the tractability of SPQNs that generalize and relax the decomposable and complete tractability conditions of SPNs. These relaxed conditions give rise to an exponential boost to the expressive efficiency of our model, i.e. we prove that there are distributions which SPQNs can compute efficiently but require SPNs to be of exponential size. Thus, we narrow the gap in expressivity between tractable graphical models and other Neural Network-based generative models.

연구 동기 및 목표

• Sum-Product Networks (SPNs)의 제한된 표현 능력을 해결하기 위해, 엄격한 구조적 제약으로 인해 일부 타당한 분포를 효율적으로 표현할 수 없는 문제를 해결한다.
• P(A|B) = P(A,B)/P(B)와 같이 조건부 확률을 직접 계산할 수 있는 타당한 생성 모델을 개발한다.
• SPNs의 분해 가능성과 완전성 조건을 유지하면서도 타당한 추론를 보존함으로써 표현 효율성을 향상시킨다.
• SPQNs가 일부 분포를 SPNs보다 지수적으로 더 효율적으로 표현할 수 있음을 보여주며, 신경망 기반 생성 모델과의 격차를 좁힌다.
• 미래의 확장, 예를 들어 생성 분류, 일致한 마진 분포를 위한 공동 학습, 컨볼루션 SPQNs 등을 위한 이론적 기반을 마련한다.

제안 방법

• SPNs에 새로운 종류의 내부 노드인 몰입 노드를 도입하여, 각 몰입 노드가 두 부모 노드의 출력 비율을 계산함으로써 조건부 확률을 직접 계산할 수 있도록 한다.
• SPNs의 분해 가능성 조건을 일반화한 새로운 구조 조건인 조건부 분해 가능성(conditional decomposability)을 정의하여, 특정 조건 하에 곱 노드의 자식들 간에 공유되는 변수 범위를 允許한다.
• SPQNs에서 타당한 추론을 보장하기 위한 충분조건을 제시하며, SPNs의 분해 가능성과 완전성(D&C) 조건을 일반화하여 정규화 및 마진 분포 계산이 다항 시간 내에 가능함을 보장한다.
• 산술 회로(ACs)의 프레임워크를 사용하여 SPQNs를 형식화하고, 몰입 노드를 통한 유리 함수가 새로운 구조 조건 하에서도 타당성을 유지할 수 있음을 증명한다.
• SPQNs가 SPNs로 표현 가능한 모든 분포를 표현할 수 있을 뿐 아니라, 지수 크기의 SPNs가 필요한 분포도 효율적으로 모델링할 수 있음을 보여준다.
• 생성 분류, 일致한 마진 분포를 위한 공동 학습, 컨볼루션 SPQNs(컨볼루션 네트워크 기반)와 같은 이론적 확장을 제안한다.

실험 결과

연구 질문

• RQ1 몰입 노드를 SPNs에 통합하여 조건부 확률을 직접 계산하면서도 타당한 추론을 유지할 수 있는가?
• RQ2 몰입 노드를 통해 SPNs의 분해 가능성과 완전성 조건을 완화하면 표현 효율성이 상당히 향상되는가?
• RQ3 SPQNs로 효율적으로 표현 가능한 분포 중에서 지수 크기의 SPNs가 필요한 분포는 존재하는가?
• RQ4 새로운 구조 조건 하에서 SPQNs가 타당한 추론과 정규화를 유지할 수 있는가?
• RQ5 유리 함수(몰입 노드를 통한)를 타당한 확률 모델에 사용할 때 이론적 및 실용적 영향은 무엇인가?

주요 결과

• SPQNs는 SPNs의 분해 가능성과 완전성(D&C) 조건을 일반화하여 조건부 분해 가능성 조건을 도입함으로써, 특정 조건 하에 곱 노드의 자식들 간에 공유되는 변수 범위를 허용한다.
• 논문은 SPQNs가 새로운 구조 조건 하에서도 타당한 추론을 유지함을 증명하여, 정규화 및 마진 분포 계산이 다항 시간 내에 가능함을 보장한다.
• SPQNs는 SPNs보다 지수적 표현 효율성을 달성한다: 지수 크기의 SPNs가 필요한 분포가 존재하지만, 이는 SPQNs로 다항 시간 내에 표현 가능하다.
• 모델은 몰입 노드를 통해 P(A|B) = P(A,B)/P(B) 방식으로 조건부 확률을 직접 계산할 수 있음을 보여주며, 모델링의 유연성을 크게 향상시킨다.
• SPQNs는 SPNs로 효율적으로 표현할 수 없는 분포, 예를 들어 n개 정점의 완전 그래프의 스패닝 트리 위의 균일 분포 등도 이론적으로 표현 가능하다.
• 조건부 분해 가능성에 의해 유도되는 부분 순서로 인해 일반적인 타당한 마진 분포 계산이 손상되더라도, SPQNs는 타당한 추론을 유지하며 공동 학습을 통해 일치한 마진 분포를 향한 길을 열어 놓는다.