[논문 리뷰] Maximum A Posteriori Inference in Sum-Product Networks

Jun Mei, Yong Jiang외 1명|arXiv (Cornell University)|2017. 08. 16.

Bayesian Modeling and Causal Inference인용 수 5

한 줄 요약

이 논문은 합-곱 네트워크(Sum-Product Networks, SPNs)를 위한 새로운 정확한 및 근사 MAP 추론 솔버를 제안하며, MAP 추론이 선형 시간 내에 더 단순한 문제인 MAX로 감소됨을 보여준다. 제안된 정확한 솔버는 최대 1,000개의 변수와 150만 개의 간선을 가진 SPN을 10분 이내에 효율적으로 처리하며, 실제 데이터셋에서 기존 방법보다 뛰어난 속도-정확도 균형을 달성하는 근사 솔버도 제안한다.

ABSTRACT

Sum-product networks (SPNs) are a class of probabilistic graphical models that allow tractable marginal inference. However, the maximum a posteriori (MAP) inference in SPNs is NP-hard. We investigate MAP inference in SPNs from both theoretical and algorithmic perspectives. For the theoretical part, we reduce general MAP inference to its special case without evidence and hidden variables; we also show that it is NP-hard to approximate the MAP problem to $2^{n^ε}$ for fixed $0 \leq ε< 1$, where $n$ is the input size. For the algorithmic part, we first present an exact MAP solver that runs reasonably fast and could handle SPNs with up to 1k variables and 150k arcs in our experiments. We then present a new approximate MAP solver with a good balance between speed and accuracy, and our comprehensive experiments on real-world datasets show that it has better overall performance than existing approximate solvers.

연구 동기 및 목표

• 자연어 처리와 컴퓨터 비전 등 다양한 분야에서 널리 사용되고 있음에도 불구하고, SPNs에서 효율적인 MAP 추론 방법의 부족을 해결하기 위해.
• 임의의 고정된 0 ≤ ϵ < 1에 대해 MAP를 2^n^ϵ 요소 이내로 근사하는 것이 NP-난이도임을 이론적으로 입증하기 위해.
• 자르기, 히우리스틱, 최적화 기법을 활용해 대규모 SPN을 효율적으로 처리할 수 있는 정확한 MAP 솔버를 개발하기 위해.
• 높은 확률의 변수 할당을 우선시하는 상위-K 파싱 트리 탐색 기반으로, 더 나은 속도-정확도 균형을 확보한 근사 MAP 솔버를 설계하기 위해.
• 실제 데이터셋에서 두 솔버의 성능을 실험적으로 검증하여 기존 접근 방식보다 뛰어난 성능을 보여주기 위해.

제안 방법

• 일반적인 MAP 추론을 증거나 은닉 변수가 없는 특수한 케이스인 MAX로 감소시키기 위해 선형 시간 변환을 수행한다.
• 정확한 추론 중 마진널 확률을 계산하기 위해 네트워크 다항식과 그 도함수를 사용하며, 이는 정확한 솔버에서의 효율적 자르기 가능성을 제공한다.
• 검색 공간을 줄이기 위해 자르기, 히우리스틱 선택, 최적화 기법을 활용한 완전 탐색 기반의 정확한 MAP 솔버를 구현한다.
• SPN의 상위-K 파싱 트리를 찾는 방식으로 근사 MAP 솔버를 개발하며, 높은 확률의 변수 할당을 우선순위로 한다.
• 정확한 솔버와 근사 솔버 양쪽 모두의 가속을 위해 자르기와 캐싱과 같은 최적화 기법을 적용한다.
• 실험에서 정확한 솔버에는 10분, 근사 솔버에는 50분의 시간 예산을 설정하며, 시간 제한 도달 시 종료한다.

실험 결과

연구 질문

• RQ1 SPNs에서 일반적인 MAP 추론은 증거나 은닉 변수가 없는 문제로 감소시킬 수 있는가?
• RQ2 임의의 고정된 0 ≤ ϵ < 1에 대해 MAP 추론을 2^n^ϵ 요소 이내로 근사하는 것은 NP-난이도인가?
• RQ3 최대 1,000개의 변수와 150만 개의 간선을 가진 SPN을 효율적으로 처리할 수 있는 정확한 MAP 솔버를 설계할 수 있는가?
• RQ4 기존 방법보다 더 나은 속도-정확도 균형을 확보할 수 있는 근사 MAP 솔버를 개발할 수 있는가?
• RQ5 제안된 근사 솔버는 실제 데이터셋에서 기존 솔버보다 속도와 해의 품질 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• 논문은 SPNs에서 MAP 추론이 임의의 고정된 0 ≤ ϵ < 1에 대해 2^n^ϵ 요소 이내로 근사하는 것이 NP-난이도임을 증명하며, 근사화에 대한 이론적 한계를 강력하게 제시한다.
• 정확한 MAP 솔버는 실제 데이터셋에서 최대 1,000개의 변수와 150만 개의 간선을 가진 SPN을 10분 이내에 성공적으로 처리한다.
• 상위-K 파싱 트리 기반의 근사 솔버는 속도와 정확도 측면에서 기존의 근사 방법보다 더 나은 종합 성능을 달성한다.
• '20 Newsgroup' 데이터셋에서 AMAP 솔버는 50분 이내에 종료되지 않아, 대규모 MAP 추론의 계산적 과제를 부각시킨다.
• 그림 5의 승리 횟수 결과에서 제안된 근사 솔버(Fc+O+S)는 'MSWeb'과 'Book' 데이터셋을 포함해 대부분의 데이터셋에서 모든 다른 솔버를 능가하며, 'MSWeb'과 'Book'에서 각각 1,000번의 승리를 기록한다.
• 정확한 솔버의 실행 시간은 'Book', 'EachMovie', 'WebKB'를 제외한 모든 데이터셋에서 시간 제한 이내로 유지되며, 이 세 데이터셋에서는 일부 인스턴스에서 시간 제한에 도달한다.