[논문 리뷰] Learning Arbitrary Sum-Product Network Leaves with Expectation-Maximization

Mattia Desana, Christoph Schnörr|arXiv (Cornell University)|2016. 04. 25.

Bayesian Modeling and Causal Inference참고 문헌 20인용 수 4

한 줄 요약

이 논문은 합-곱 네트워크(Sum-Product Networks, SPNs)에서 복잡하고 임의의 리프 분포를 학습하기 위한 기대최대화(Expectation-Maximization, EM) 프레임워크를 제안한다. 이는 리프 파라미터 업데이트를 가중 최대우도 문제로 변환하며, 부분 최적화 조건 하에서도 수렴 보장이 되는 선형 시간 학습을 가능하게 한다. 트리 구조의 그래픽 모델을 리프로 사용할 경우, 파라미터 수를 크게 줄임으로써 최신 밀도 추정 방법들을 능가한다.

ABSTRACT

Sum-Product Networks with complex probability distribution at the leaves have been shown to be powerful tractable-inference probabilistic models. However, while learning the internal parameters has been amply studied, learning complex leaf distribution is an open problem with only few results available in special cases. In this paper we derive an efficient method to learn a very large class of leaf distributions with Expectation-Maximization. The EM updates have the form of simple weighted maximum likelihood problems, allowing to use any distribution that can be learned with maximum likelihood, even approximately. The algorithm has cost linear in the model size and converges even if only partial optimizations are performed. We demonstrate this approach with experiments on twenty real-life datasets for density estimation, using tree graphical models as leaves. Our model outperforms state-of-the-art methods for parameter learning despite using SPNs with much fewer parameters.

연구 동기 및 목표

• 합-곱 네트워크(Sum-Product Networks, SPNs)에서 복잡하고 임의의 리프 분포를 학습하는 데 있어 기대되는 문제인 단순한 분포(예: 지표 함수)에 국한된 제약을 해결하기 위해.
• 유사한 추론이 가능하도록 보장하면서도 고용량 리프 분포를 학습할 수 있는 원칙적이고 확장 가능한 방법을 개발하기 위해.
• 정확하거나 근사적인 최대우도 추정이 가능한 모든 분포를 SPN의 리프로 사용할 수 있도록 하기 위해.
• 리프에서의 복잡성 모델링이 큰 깊이의 SPN 아키텍처가 필요로 하는 정도를 줄일 수 있음을 보여주기 위해.

제안 방법

• SPN의 구조와 그에 포함된 혼합 모델의 부분 집합 간 이론적 연결을 확립함으로써, SPN에 대해 새로운 EM 알고리즘을 유도한다. 이는 리프 업데이트를 가중 최대우도 문제로 변환할 수 있도록 한다.
• 리프 파라미터의 M단계를, SPN의 구조와 활성화 확률에서 유도된 가중치를 갖는 가중 최대우도 문제로 변환한다.
• SPN 출력이 리프 노드에 대해 미분 가능한 점을 이용해, 각 리프 분포 업데이트에 대한 효과적 표본 가중치를 계산한다.
• M단계가 부분적으로 최적화되어도 각 EM 단계에서의 향상이 보장되도록 하여 수렴성을 확보한다.
• 리프 분포가 지수족에 속할 경우, 효율적인 닫힌 형태 해를 제공하는 특성을 활용하여 최적화를 빠르게 수행한다.
• 트리 구조의 그래픽 모델을 리프로 사용함으로써, 영향력 있고 고용량의 밀도 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 원칙적인 EM 프레임워크를 통해 SPN에서 복잡하고 임의의 리프 분포를 학습할 수 있는가?
• RQ2 리프 업데이트를 가중 최대우도 문제로 변환함으로써 효율적이고 확장 가능한 학습이 가능한가?
• RQ3 복잡하고 학습 가능한 리프를 갖는 SPN이, 파라미터 수가 적더라도 표준 SPN보다 밀도 추정 성능에서 뛰어나지 않는가?
• RQ4 M단계에서 부분 최적화만 수행되더라도 EM 알고리즘의 수렴이 보장되는가?
• RQ5 이 방법은 정확한 최대우도 추정이 필요한 분포를 포함해 다양한 분포에 적용 가능한가?

주요 결과

• 제안된 EM 방법은 SPN 간선 수에 대해 선형 계산 비용을 가지며, 복잡한 리프 분포의 효율적 학습을 가능하게 한다.
• M단계가 부분적으로 최적화되어도 수렴이 보장되어, 근사 추론에 대한 강건성과 실용성을 확보한다.
• 20개의 실제 밀도 추정 데이터셋에서, 트리 구조의 그래픽 모델을 리프로 사용한 모델이 파라미터 수를 크게 줄임에도 불구하고 최신 기술을 능가했다.
• 최대우도 학습이 가능한 모든 분포(정확하거나 근사적 방법 포함)를 리프 모델로 사용할 수 있도록 하여 적용 가능한 리프 모델의 범위를 크게 확장한다.
• 결과는 모델링 능력을 SPN 아키텍처에서 리프 분포로 이동시킬 수 있음을 시사하며, 큰 깊이의 SPN 아키텍처의 필요성을 줄일 수 있음을 보여준다.
• 지수족 리프의 경우 M단계는 유일한 전역 최적해를 가지며, 이는 효율적인 닫힌 형태 업데이트를 가능하게 한다.