[논문 리뷰] A Unified Approach for Learning the Parameters of Sum-Product Networks

Han Zhao, Pascal Poupart외 1명|arXiv (Cornell University)|2016. 01. 03.

Product Development and Customization참고 문헌 24인용 수 25

한 줄 요약

이 논문은 최대우도추정을 통한 합- tích 네트워크(SPN) 파라미터 학습을 위한 통합 프레임워크를 제안하며, SPN이 혼합된 나무 모델과 동치임을 보이고, 파라미터 학습을 사항형 프로그래밍(signomial program)으로 공식화한다. 이는 다항식 업데이트를 가능하게 하고 투영을 피하는 두 가지 효율적인 알고리즘—순차 다항식 근사(Sequential Monomial Approximation, SMA)와 오목-볼록 절차(Concave-Convex Procedure, CCCP)—를 도입한다. CCCP는 PGD, EG, SMA보다 더 빠르고 안정적으로 수렴하며, SPN 구조 학습을 위한 미세조정에 사용될 경우 최신 기술을 초월한다.

ABSTRACT

We present a unified approach for learning the parameters of Sum-Product networks (SPNs). We prove that any complete and decomposable SPN is equivalent to a mixture of trees where each tree corresponds to a product of univariate distributions. Based on the mixture model perspective, we characterize the objective function when learning SPNs based on the maximum likelihood estimation (MLE) principle and show that the optimization problem can be formulated as a signomial program. We construct two parameter learning algorithms for SPNs by using sequential monomial approximations (SMA) and the concave-convex procedure (CCCP), respectively. The two proposed methods naturally admit multiplicative updates, hence effectively avoiding the projection operation. With the help of the unified framework, we also show that, in the case of SPNs, CCCP leads to the same algorithm as Expectation Maximization (EM) despite the fact that they are different in general.

연구 동기 및 목표

• 투영된 경사하강법(PGD)과 지수형 경사하강법(EG)이 SPN 파라미터 학습에서 느린 수렴성과 투영 단계 의존성 등의 한계를 해결하기 위해.
• PGD, EG, SMA, EM 등의 기존 SPN 파라미터 학습 방법을 사항형 프로그래밍과 혼합 모델 기반의 단일 이론적 프레임워크로 통합하기 위해.
• 순차 다항식 근사(SMA)와 오목-볼록 절차(CCCP)를 사용해 투영 없이 효율적인 최적화 알고리즘을 개발하기 위해.
• CCCP가 일반적으로 다른 형태를 띠지만 SPN에서는 EM과 수학적으로 동치임을 보이고, 경험적으로 더 뛰어난 성능을 보임을 입증하기 위해.
• 구조 학습 이후에 CCCP를 미세조정 단계로 적용하여 SPN 모델 정확도를 향상시키고, 더 작은 모델로 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 모든 완전하고 분해 가능한 SPN이 각각 단변량 분포의 곱에 해당하는 나무 모델의 혼합과 동치임을 증명한다.
• 최대우도추정(MLE) 기반으로 SPN 파라미터 학습을 사항형 프로그래밍(SP)으로 공식화하여 볼록 이완 기법을 가능하게 한다.
• 사항형 프로그래밍을 오목-볼록 함수의 차분(DCP) 형태로 변환하여 CCCP와 SMA에서 사용할 수 있도록 한다.
• 두 가지 최적화 알고리즘을 개발한다: 순차 다항식 근사를 사용하는 SMA와 오목-볼록 분해를 사용하는 CCCP로, 둘 다 곱셈형 업데이트를 가능하게 한다.
• SPN에 대한 CCCP가 일반적으로 다른 형태를 띠지만, EM 알고리즘과 수학적으로 동치임을 보인다.
• 예를 들어 LearnSPN와 같이 구조 학습 이후에 CCCP를 미세조정 절차로 적용하여 모델 크기를 늘리지 않고도 모델의 우도를 향상시킨다.

실험 결과

연구 질문

• RQ1 혼합 모델과 사항형 프로그래밍 기반의 단일 이론적 프레임워크로 SPN 파라미터 학습을 통합할 수 있는가?
• RQ2 SMA와 CCCP는 PGD와 EG에 비해 수렴 속도, 안정성, 우도 성능 측면에서 어떻게 비교되는가?
• RQ3 SPN에 대한 CCCP 알고리즘은 EM과 동치인가, 만약 그렇다면 어떤 조건에서인가?
• RQ4 CCCP를 기존 SPN 구조 학습 알고리즘(예: LearnSPN)에 적용했을 때 성능을 크게 향상시킬 수 있는가?
• RQ5 제안된 프레임워크는 파라미터 양수 제약 조건을 존중하면서도 효율적이고 투영이 없는 최적화를 가능하게 하는가?

주요 결과

• CCCP는 20개의 벤치마크 데이터셋 전반에서 PGD, EG, SMA보다 더 빠르고 안정적으로 수렴하며, 테스트 로그우도 측면에서 통계적으로 유의미한 향상을 보였다.
• 20개 데이터셋 중 16개에서 PGD, EG, SMA보다 평균 테스트 로그우도가 높았으며, 10개 데이터셋에서 가장 높은 로그우도를 기록했다.
• LearnSPN의 구조 학습 후에 CCCP를 적용했을 때, 훨씬 더 작은 SPN 모델을 사용함에도 불구하고 7개 데이터셋에서 최신 기술인 ID-SPN의 성능을 따라하거나 초월했다.
• LearnSPN 이후 CCCP를 적용한 결과, 검증 세트의 로그우도 점수가 향상되어 일반화 능력 향상과 과적합 감소를 나타냈다.
• 이 프레임워크는 PGD와 EG가 사항형 프로그래밍의 일阶 근사임을 보여주며, SMA와 CCCP가 고계 이완임을 설명함으로써 상대적 성능의 이유를 밝혔다.
• CCCP는 SPN에서 EM과 수학적으로 동치이며, 이는 이전의 EM 업데이트 공식의 모순을 해결하고 정확성을 검증한다.