[논문 리뷰] Approximation Complexity of Maximum A Posteriori Inference in Sum-Product Networks

Diarmaid Conaty, Denis Deratani Mauá외 1명|arXiv (Cornell University)|2017. 03. 17.

Bayesian Modeling and Causal Inference참고 문헌 24인용 수 10

한 줄 요약

이 논문은 합-곱 신경망(SPNs)에서 최대 사후확률(MAP) 추론의 근사 복잡도를 규명하며, 높이 2인 SPN에서는 MAP 추론이 하위선형 요인 내에서 근사하는 것이 NP-난이도임을 증명한다. 그러나 다항시간 알고리즘이 선형 근사 요인을 달성한다. 높이 3 이상인 SPN의 경우, 하위선형 함수 f(n)에 대해 2^{f(n)} 요인 내에서의 근사가 NP-난이도이며, 최대-곱 알고리즘이 c<1인 상수 c에 대해 2^{c·n} 근사 요인을 제공한다. 또한 실용적으로 최대-곱 알고리즘을 능가하는 수정된 알고리즘을 제안한다. 특히 얕은 네트워크에서 뛰어난 성능을 보인다.

ABSTRACT

We discuss the computational complexity of approximating maximum a posteriori inference in sum-product networks. We first show NP-hardness in trees of height two by a reduction from maximum independent set; this implies non-approximability within a sublinear factor. We show that this is a tight bound, as we can find an approximation within a linear factor in networks of height two. We then show that, in trees of height three, it is NP-hard to approximate the problem within a factor $2^{f(n)}$ for any sublinear function $f$ of the size of the input $n$. Again, this bound is tight, as we prove that the usual max-product algorithm finds (in any network) approximations within factor $2^{c \cdot n}$ for some constant $c &lt; 1$. Last, we present a simple algorithm, and show that it provably produces solutions at least as good as, and potentially much better than, the max-product algorithm. We empirically analyze the proposed algorithm against max-product using synthetic and realistic networks.

연구 동기 및 목표

• 최대 사후확률(MAP) 추론의 계산 복잡도를 합-곱 신경망(SPNs)에서 규명하는 것.
• 다양한 높이를 가진 SPN에서 MAP 추론의 가장 날카로운 근사 경계를 결정하는 것.
• 표준 최대-곱 알고리즘을 초월하는 개선된 알고리즘을 개발하고 평가하는 것.
• UCI 데이터셋에서 학습된 합-곱 신경망을 대상으로 제안된 알고리즘의 성능을 평가하는 것.

제안 방법

• 최대 독립 집합 문제로부터의 감소를 통해 높이 2인 SPN에서 MAP 추론의 NP-난이도를 증명한다.
• 높이 2인 SPN에서 하위선형 요인 내의 근사가 불가능함을 보이며, 다항시간 선형근사 알고리즘을 통해 이 경계가 날카로운 것을 입증한다.
• 높이 3인 SPN으로의 난이도 결과를 확장하여, 하위선형 함수 f(n)에 대해 2^{f(n)} 요인 내의 근사가 NP-난이도임을 증명한다.
• 표준 최대-곱 알고리즘이 어떤 상수 c<1에 대해 2^{c·n} 근사 요인을 달성함을 보이며, 이는 날카로운 상한을 제공한다.
• 최대-곱의 합에서 최댓값으로의 연산을 더 정보적인 선택 전략으로 대체하는 수정된 알고리즘을 제안하여, 최대-곱보다 나은 해를 보장한다.
• 최대-곱 알고리즘과의 비교를 위해 합-곱 신경망에서 최대 독립 집합 문제를 인코딩한 합성 SPN과 UCI 데이터셋에서 학습된 더 깊은 SPN을 대상으로 실증 평가를 수행한다.

실험 결과

연구 질문

• RQ1 높이 2인 SPN에서 MAP 추론의 근사 복잡도는 무엇인가?
• RQ2 최대 독립 집합 문제로부터 직접 감소를 통해 SPN에서 MAP 추론의 NP-난이도를 증명할 수 있는가?
• RQ3 높이 3 이상인 SPN에서 MAP 추론의 가장 날카로운 근사 경계는 무엇인가?
• RQ4 합성 및 실제 SPN에서 제안된 수정된 알고리즘의 성능은 최대-곱 알고리즘 대비 어떤가?
• RQ5 증거의 존재가 SPN에서 MAP 추론의 근사 복잡도에 크게 영향을 미치는가?

주요 결과

• 높이 2인 SPN에서 MAP 추론은 입력 크기의 하위선형 요인 내에서 근사하는 것이 NP-난이도이며, 이 경계는 날카롭다. 다항시간 선형근사 알고리즘이 선형 근사 요인을 달성하기 때문이다.
• 높이 3 이상인 SPN의 경우, 하위선형 함수 f(n)에 대해 2^{f(n)} 요인 내의 근사가 NP-난이도이며, 이 경계는 날카롭다. 최대-곱 알고리즘이 어떤 c<1에 대해 2^{c·n} 근사 요인을 보장하기 때문이다.
• 제안된 수정된 알고리즘인 argmax-product는 최대-곱보다 나쁜 해를 내보내지 않으며, 특히 얕은 네트워크에서 뚜렷이 더 나은 성능을 보인다.
• 최대 독립 집합 문제를 인코딩한 합성 SPN에서의 실증 평가 결과, argmax-product는 최대-곱을 일관되게 능가하며 해의 질에서 뚜렷한 향상을 보였다.
• 실제 UCI 데이터셋에서 학습된 더 깊은 SPN에서 argmax-product는 최대-곱 대비 성능 향상이 다소 뚜렷하지 않지만 여전히 무시할 수 없으며, 50% 증거가 존재하는 테스트 케이스에서 평균 해의 확률 비율은 1.12, 표준편차는 0.17였다.
• 증거의 존재는 근사 복잡도에 크게 영향을 주지 않으며, 두 알고리즘 간의 성능 격차는 다양한 증거 설정에서도 안정되어 있었다.