[논문 리뷰] Sum-Product Networks: A New Deep Architecture

Hoifung Poon, Pedro Domingos|arXiv (Cornell University)|2012. 02. 14.

Bayesian Modeling and Causal Inference참고 문헌 27인용 수 377

한 줄 요약

이 논문은 완전하고 일관된 조건을 만족시켜 정확하고 효율적인 추론을 가능하게 하는 가중치가 부여된 간선을 가진 합-곱 노드(sum and product nodes)로 구성된 심층 구조인 합-곱 네트워크(Sum-Product Networks, SPNs)를 소개한다. SPNs는 많은 정확한 그래픽 모델을 일반화하며, 이미지 보완 등의 작업에서 표준 심층 네트워크보다 더 빠르고 정확한 결과를 도출한다. 이는 역전파와 EM 기반 학습을 통한 효율적인 정확한 추론 덕분이다.

ABSTRACT

The key limiting factor in graphical model inference and learning is the complexity of the partition function. We thus ask the question: what are general conditions under which the partition function is tractable? The answer leads to a new kind of deep architecture, which we call sum-product networks (SPNs). SPNs are directed acyclic graphs with variables as leaves, sums and products as internal nodes, and weighted edges. We show that if an SPN is complete and consistent it represents the partition function and all marginals of some graphical model, and give semantics to its nodes. Essentially all tractable graphical models can be cast as SPNs, but SPNs are also strictly more general. We then propose learning algorithms for SPNs, based on backpropagation and EM. Experiments show that inference and learning with SPNs can be both faster and more accurate than with standard deep networks. For example, SPNs perform image completion better than state-of-the-art deep networks for this task. SPNs also have intriguing potential connections to the architecture of the cortex.

연구 동기 및 목표

• 그래픽 모델에서 분할 함수가 처리 가능한 조건을 특정하는 것.
• 복잡한 확률 모델에 대해 정확하고 효율적인 추론을 지원하는 새로운 심층 구조를 개발하는 것.
• 기존의 처리 가능한 그래픽 모델을 일반화하면서도 확장 가능한 학습과 추론을 가능하게 하는 것.
• SPNs를 위한 역전파와 EM 기반 학습 알고리즘을 제안하는 것.
• 표준 심층 네트워크에 비해 SPNs가 추론 및 학습 작업에서 뛰어난 성능을 보이는지 확인하는 것.

제안 방법

• SPNs는 변수를 잎으로, 합 노드와 곱 노드를 내부 노드로, 가중치가 부여된 간선을 가진 방향성 비순환 그래프로 정의된다.
• 네트워크가 완전하고 일관되도록 요구되어, 유효한 확률 분포를 표현하고 정확한 추론을 보장한다.
• 각 노드는 자식 노드의 출력값에 대한 가중치 합(합 노드의 경우) 또는 곱(곱 노드의 경우)을 계산하며, 가중치는 확률로 해석된다.
• 구조적 특성과 완전성 조건 덕분에 분할 함수와 모든 주변확률은 네트워크 크기와 선형 비례하는 시간에 계산된다.
• 학습은 역전파와 EM을 통해 수행되며, 파라미터 업데이트는 기울기 기반 최적화에 의해 이끌린다.
• 샘플링을 사용하지 않고도 정확한 추론을 지원하여, 신속하고 정확한 확률적 추론이 가능하다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 그래픽 모델의 분할 함수와 주변확률이 처리 가능한가?
• RQ2 정확한 추론을 지원하면서도 표현력 있고 확장 가능한 심층 구조를 설계할 수 있는가?
• RQ3 기울기 기반 및 EM 기반 방법을 사용해 SPNs를 효율적으로 학습할 수 있는가?
• RQ4 이미지 보완과 같은 작업에서 SPNs가 표준 심층 네트워크를 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 SPN의 구조와 대뇌皮질의 신경 구조 사이에 어떤 관련성이 있는가?

주요 결과

• 완전하고 일관된 조건을 만족할 경우, SPNs는 그래픽 모델의 분할 함수와 모든 주변확률을 정확하게 선형 시간에 계산할 수 있다.
• SPNs는 베이지안 네트워크와 특정 구조를 가진 마르코프 네트워크를 포함한 많은 처리 가능한 그래픽 모델을 일반화한다.
• 이미지 보완 작업에서 표준 심층 네트워크보다 더 빠르고 정확한 추론 성능을 달성한다.
• 역전파와 EM의 활용은 SPN 파라미터의 효과적인 학습과 양호한 수렴 특성을 가능하게 한다.
• SPNs는 콘크리트의 미세 회로 구조와 흥미로운 구조적 유사성을 보이며, 생물학적으로 타당할 가능성이 있다.
• 샘플링에 의존하는 많은 심층 생성 모델과 달리, SPNs는 근사 없이 정확한 추론을 지원한다.