[논문 리뷰] The Sum-Product Theorem: A Foundation for Learning Tractable Models

Abram L. Friesen, Pedro Domingos|arXiv (Cornell University)|2016. 11. 11.

Bayesian Modeling and Causal Inference참고 문헌 42인용 수 8

한 줄 요약

이 논문은 모든 반합에서 요소의 변수 범위가 서로 겹치지 않도록 요구함으로써 임의의 반합에서 효율적인 추론을 보장하는 통합 원리인 합-곱 정리를 제안한다. 이 조건을 학습 중에 적용함으로써 표현력이 풍부하고 고트리위드 모델—예를 들어 다항식 시간 내에 최적화되는 비볼록 함수—의 학습이 가능해지며, 최적화 비용을 忽시하는 기존 학습 방법에 비해 크게 슈퍼리어한 성능을 보인다.

ABSTRACT

Inference in expressive probabilistic models is generally intractable, which makes them difficult to learn and limits their applicability. Sum-product networks are a class of deep models where, surprisingly, inference remains tractable even when an arbitrary number of hidden layers are present. In this paper, we generalize this result to a much broader set of learning problems: all those where inference consists of summing a function over a semiring. This includes satisfiability, constraint satisfaction, optimization, integration, and others. In any semiring, for summation to be tractable it suffices that the factors of every product have disjoint scopes. This unifies and extends many previous results in the literature. Enforcing this condition at learning time thus ensures that the learned models are tractable. We illustrate the power and generality of this approach by applying it to a new type of structured prediction problem: learning a nonconvex function that can be globally optimized in polynomial time. We show empirically that this greatly outperforms the standard approach of learning without regard to the cost of optimization.

연구 동기 및 목표

• 확률적 추론, 제약 만족 문제, 최적화, 데이터베이스 쿼리 등 다양한 문제들에 걸쳐 효율적 추론을 통합하고 일반화하는 것.
• 임의의 반합에서 합계가 효율적인 데 필요한 최소한의 충분조건을 규명하는 것: 곱의 각 요소에서 변수의 범위가 서로 겹치지 않도록 하는 것.
• 모든 반합에서 효율적인 표현을 학습하기 위한 일반 알고리즘을 개발하는 것. 이는 요소의 범위가 서로 겹치지 않도록 하는 조건을 강제함으로써 달성된다.
• 비볼록 함수를 다항식 시간 내에 전역 최적화 가능한 방식으로 학습하는 데 있어, 이 방법의 강력함을 새로운 구조적 예측 과제에 적용하여 보여주는 것.
• 기존 결과들—예를 들어 효율적 마르코프 논리와 SPNs—가 제안된 정리의 따름정리임을 보여주는 것.

제안 방법

• 합-곱 정리 제안: 반합에서의 합계가 효율적이려면, 모든 곱의 요소에서 변수의 범위가 서로 겹치지 않아야 한다.
• 동적 프ограм밍을 이용해 분해 트리에서 범위가 서로 겹치지 않는 조건을 만족하는 임의의 반합에서 합계를 계산하는 일반 추론 알고리즘 정의.
• 학습 시기 동안 범위가 서로 겹치지 않도록 강제함으로써, 모든 학습된 모델가 본질적으로 효율적임을 보장하는 학습 알고리즘 개발.
• 구조적 예측에 응용하기 위해, 비볼록 목표 함수를 더 작은, 독립적으로 최적화 가능한 구성요소로 분해하는 Min-Sum 함수(MSF)를 학습하는 방식.
• 상관관계와 k-means를 이용한 변수 클러스터링을 통해 분해를 유도하고, 잎 노드는 다중 시작 L-BFGS를 통해 평가하여 학습된 하위함수를 시뮬레이션.
• 모델 복잡도를 제어하고 과적합을 방지하기 위해 임계값 기반의 잘라내기 전략(임계값 t=30, v=2)을 사용.

실험 결과

연구 질문

• RQ1 다양한 문제들—반합에서의 합계로 귀결되는 문제들—에 걸쳐 효율적 추론을 보장하는 단일 통합 조건이 존재하는가?
• RQ2 곱의 요소에서 범위가 서로 겹치지 않도록 강제하는 조건이, 모델의 표현력이나 트리위드와 관계없이 어떤 반합에서도 효율성을 보장하는가?
• RQ3 이 조건을 이용해 다항식 시간 내에 전역 최적화 가능한 비볼록 함수를 학습할 수 있는가?
• RQ4 최적화 비용을 고려하지 않는 표준 엔드 투 엔드 학습 방식과 비교해, 효율적인 분해 구조를 학습하는 방식은 어떤가?
• RQ5 확률 모델링과 제약 만족 문제 분야에서 기존에 알려진 결과들 중 어떤 것이 합-곱 정리의 따름정리로 포함되는가?

주요 결과

• 합-곱 정리는 변수 범위가 서로 겹치지 않는 조건이 임의의 가환 반합에서 합계의 효율성을 보장함을 입증하며, 효율적 추론의 통합 기반을 제공한다.
• 제안된 학습 알고리즘이 매우 다중모달인 테스트 함수(라스트리긴의 변형)의 구조적 분해를 성공적으로 포착하여, 전역 최적화를 효율적으로 수행한다.
• 학습된 Min-Sum 함수(MSF)는 동일한 시간 예산 내에서 원래 함수를 직접 최적화하는 것보다 훨씬 낮은 최소값을 찾는다.
• 최적화 비용을 고려하지 않는 표준 학습 접근 방식에 비해, 심지어 잎 함수가 완벽하게 알려져 있을 때조차도 이 방법이 더 뛰어난 최적화 성능을 보인다.
• 이 프레임워크는 기존 결과들을 일반화하고 단순화하며, 효율적 마르코프 논리와 합-곱 네트워크의 효율성 등도 정리의 따름정리로 포함한다.
• 실험 결과는 범위가 서로 겹치지 않는 분해된 하위함수를 최적화할 경우 전체 함수를 최적화하는 것보다 기하급수적으로 적은 모드를 탐색함을 보여주며, 이는 전역 최소값에 더 빠르게 수렴하게 한다.