[논문 리뷰] Maximum Entropy Distributions: Bit Complexity and Stability

Damian Straszak, Nisheeth K. Vishnoi|arXiv (Cornell University)|2017. 11. 06.

Markov Chains and Monte Carlo Methods참고 문헌 29인용 수 24

한 줄 요약

이 논문은 일반적인 이산 지지체 위에서 최대 엔트로피 분포의 ε-최적 이중 해에 대해 poly(m, log 1/ε) 비트 복잡도 상한을 확립하며, 이러한 분포가 계산적으로 가능하고 또한 마진 벡터의 변화에 대해 안정적임을 증명한다. 이 결과는 랭크-1 케이스에서 최대 엔트로피 분포와 브라스앰프-라이블 상수를 다항시간에 계산할 수 있게 하여 고차원 설정에서의 압축성과 강건성에 관한 오랫동안 남아 있던 질문을 해결한다.

ABSTRACT

Maximum entropy distributions with discrete support in $m$ dimensions arise in machine learning, statistics, information theory, and theoretical computer science. While structural and computational properties of max-entropy distributions have been extensively studied, basic questions such as: Do max-entropy distributions over a large support (e.g., $2^m$) with a specified marginal vector have succinct descriptions (polynomial-size in the input description)? and: Are entropy maximizing distributions "stable" under the perturbation of the marginal vector? have resisted a rigorous resolution. Here we show that these questions are related and resolve both of them. Our main result shows a ${ m poly}(m, \log 1/\varepsilon)$ bound on the bit complexity of $\varepsilon$-optimal dual solutions to the maximum entropy convex program -- for very general support sets and with no restriction on the marginal vector. Applications of this result include polynomial time algorithms to compute max-entropy distributions over several new and old polytopes for any marginal vector in a unified manner, a polynomial time algorithm to compute the Brascamp-Lieb constant in the rank-1 case. The proof of this result allows us to show that changing the marginal vector by $δ$ changes the max-entropy distribution in the total variation distance roughly by a factor of ${ m poly}(m, \log 1/δ)\sqrtδ$ -- even when the size of the support set is exponential. Together, our results put max-entropy distributions on a mathematically sound footing -- these distributions are robust and computationally feasible models for data.

연구 동기 및 목표

• 큰 지지체(예: 2^m) 위에서 최대 엔트로피 분포가 m과 log(1/ε)에 대해 다항적인 표현을 갖는지 여부에 관한 열린 질문을 해결하기 위해.
• 마진 벡터의 변화에 대한 최대 엔트로피 분포의 안정성에 대해 조사하기 위해.
• 랭크-1 영역에서 최대 엔트로피 분포와 브라스앰프-라이블 상수의 계산 가능성을 확립하기 위해.
• 다양한 다면체를 통해 최대 엔트로피 분포를 계산하는 데 통합된 프레임워크를 제공하기 위해.
• 마진 벡터의 소규모 변화가 최대 엔트로피 분포의 총 변화 거리에 어떻게 영향을 주는지 보여주기 위해.

제안 방법

• 최대 엔트로피 볼록 프로그래밍의 ε-최적 이중 해에 대해, 지지체 크기와 무관하게 poly(m, log 1/ε)의 비트 복잡도 상한을 유도한다.
• 이중성의 성질을 이용해 최대 엔트로피 분포를 지수족 형태로 표현한다: q_α ∝ exp(⟨α, y*⟩), 여기서 y*는 이중 해이다.
• 효율적으로 계산 가능한 이중 근사치를 기반으로 한 근사 부분그래디언트 오рак루를 사용하는 얕은 컷 타입 타원체 방법을 적용한다.
• 분할 함수의 로그가 이중 변수에 대해 다항적으로 유 bounds되어 있음을 활용하여 효율적인 최적화를 가능하게 한다.
• 분리 오라클과 부분공간 식별 기법을 활용해 전도수 없는 다면체를 다루기 위해 사용한다.
• 최악의 상황 브라스앰프-라이블 상수 계산 문제를 유한 지지체 위의 최대 엔트로피 프로그래밍 문제로 환원하며, 실수 안정 다항식과 볼록성의 성질을 활용한다.

실험 결과

연구 질문

• RQ1 큰 이산 지지체(예: 크기 2^m) 위에서 최대 엔트로피 분포가 m과 log(1/ε)에 대해 다항적인 비트 복잡도를 갖는 압축 표현을 가질 수 있는가?
• RQ2 마진 벡터가 δ 만큼 변화할 때, 해당 최대 엔트로피 분포 간의 총 변화 거리 거리 변화는 어떻게 되는가?
• RQ3 일반적인 다면체에 대해, 마진 벡터가 마진 다면체의 경계 근처 또는 경계 위에 있을 경우에도 최대 엔트로피 분포를 다항시간 내에 계산할 수 있는가?
• RQ4 랭크-1 케이스에서 최악의 상황 브라스앰프-라이블 상수는 다항시간 내에 계산 가능한가?
• RQ5 비트 복잡도와 최대 엔트로피 분포의 안정성 간의 관계는 무엇인가?

주요 결과

• 최대 엔트로피 프로그래밍의 ε-최적 이중 해의 비트 복잡도는 지지체 크기와 무관하게 poly(m, log 1/ε)로 유 bounds되어 있다.
• 마진 벡터에 대한 δ의 변화는 해당 최대 엔트로피 분포 간의 총 변화 거리 변화에 대해 최대 poly(m, log 1/δ) × √δ 이내로 제한된다.
• 모든 마진 벡터에 대해, 심지어 마진 다면체의 경계 위에 있을 경우에도 최대 엔트로피 분포는 다항시간 내에 계산 가능하다.
• 랭크-1 케이스에서 최악의 상황 브라스앰프-라이블 상수는 최대 엔트로피 프로그래밍 문제로의 환원을 통해 다항시간 내에 계산 가능하다.
• 이중 프로그래밍에서 분할 함수의 로그는 이중 변수에 대해 다항적으로 유 bounds되어 있으며, 이는 타원체 방법을 통한 효율적 최적화를 가능하게 한다.
• 이 프레임워크는 지지체 크기가 지수적으로 큰 경우를 포함한 다양한 다면체 위에서 최대 엔트로피 분포의 계산을 통합적으로 가능하게 한다.