[논문 리뷰] Entropy, Optimization and Counting

Mohit Singh, Nisheeth K. Vishnoi|arXiv (Cornell University)|2013. 04. 30.

Bayesian Modeling and Causal Inference참고 문헌 30인용 수 4

한 줄 요약

이 논문은 이산 조합 집합의 크기를 세는 것과 그 최대 엔트로피 분포를 계산하는 것 사이의 등가성을 확립하며, 한 문제에 대한 효율적인 알고리즘이 다른 문제로도 변환될 수 있음을 보여준다. 온건한 조건 하에서 최대 엔트로피 분포는 다항 크기의 표현을 갖는다. 저자들은 분離 오ракูล과 근사 최적화를 활용한 다항 시간 기반의 타원체 기반 알고리즘을 제시하여 효율적인 세기 및 엔트로피 계산을 실현한다.

ABSTRACT

In this paper we study the problem of computing max-entropy distributions over a discrete set of objects subject to observed marginals. Interest in such distributions arises due to their applicability in areas such as statistical physics, economics, biology, information theory, machine learning, combinatorics and, more recently, approximation algorithms. A key difficulty in computing max-entropy distributions has been to show that they have polynomially-sized descriptions. We show that such descriptions exist under general conditions. Subsequently, we show how algorithms for (approximately) counting the underlying discrete set can be translated into efficient algorithms to (approximately) compute max-entropy distributions. In the reverse direction, we show how access to algorithms that compute max-entropy distributions can be used to count, which establishes an equivalence between counting and computing max-entropy distributions.

연구 동기 및 목표

• 암시적으로 주어진 지수 크기의 이산 집합 위에서 최대 엔트로피 분포를 표현하고 계산하는 데 발생하는 근본적인 계산 문제를 해결하기 위해.
• 일반 조건 하에서 최대 엔트로피 분포가 간결한 다항 크기의 기술을 갖는다는 것을 보여주어 명시적 표현에서 발생하는 지수적 팽창을 극복하기 위해.
• 조합 집합의 근사 세기와 최대 엔트로피 분포의 근사 계산 간의 날카로운 계산 등가성을 확립하기 위해.
• 타원체 방법과 분리 오라클을 활용하여 근사 최대 엔트로피 오라클에 대한 액세스를 통해 조합 집합의 크기를 추정하는 다항 시간 알고리즘을 개발하기 위해.
• 모서리 다각체 위에서의 효율적 최적화가 효율적 세기 계산을 가능하게 하고, 그 반대도 마찬가지로 성립함을 보여주기 위해, 최소한의 내부성 조건 하에서의 모서리 조건을 가정한다.

제안 방법

• 최대 엔트로피 문제를 모서리 다각체 위의 볼록 프로그래밍으로 공식화하고, 변수 수를 |M|에서 원소 수 m로 줄이기 위해 쌍대성을 활용한다.
• 타원체 알고리즘을 사용하며, 모서리 다각체 P_η(M)의 η-내부 영역에 대한 분리 오라클을 활용하여, 탇행 영역이 전체 차원이 아닐 경우에도 수렴 가능하도록 보장한다.
• 주어진 θ가 P(M)의 η-내부에 속하는지 확인하기 위해 최대 엔트로피 프로그램의 쌍대 해가 특정 하한을 만족하는지 검증하는 분리 오라클을 구성한다.
• Jerrum-Valiant-Vazirani 프레임워크를 활용하여 샘플링과 세기 간의 등가성을 이용하여, 샘플링을 세기로, 그 반대로 세기를 샘플링으로 환원한다.
• 집합 M의 크기의 로그에 대한 이진 탐색 절차를 설계하며, 근사 최대 엔트로피 오라클을 사용해 log|Z|의 추측값을 테스트하고, 타원체 방법을 통해 추정치를 정밀하게 조정한다.
• 타원체 알고리즘에서 사용하는 분리 초평면이 g(θ) ≥ ζ + ε/16 인 모든 θ를 잘라내지 않음을 보여줌으로써 정당성을 입증한다. 이는 알고리즘이 진짜 해를 조기에 제거하지 않음을 보장한다.

실험 결과

연구 질문

• RQ1 암시적으로 정의된 지수 크기의 이산 집합 위에서 최대 엔트로피 분포는 다항 수의 비트로 표현될 수 있는가?
• RQ2 조합 집합의 근사 세기와 최대 엔트로피 분포의 근사 계산 간에 계산 등가성이 존재하는가?
• RQ3 집합 M이 암시적으로 주어질 경우, 타원체 방법이 모서리 다각체에 효과적으로 적용되어 최대 엔트로피 계산이 가능할 수 있는가?
• RQ4 최대 엔트로피 프로그램의 쌍대 해가 모서리 다각체의 내부에 대한 유효한 분리 오라클을 제공하기 위해 필요한 조건은 무엇인가?
• RQ5 근사 최대 엔트로피 오라클에 대한 액세스를 어떻게 활용하여 집합 M의 크기에 대해 (1±ε)-근사치를 도출할 수 있는가?

주요 결과

• 최소한의 모서리 조건 하에서, 최대 엔트로피 분포는 원소 수 m에 대해 다항 크기의 기술을 갖는다. 이는 원천 집합 M의 크기가 지수적일지라도 성립한다.
• 논문은 계산 등가성을 확립한다: |M|의 근사 세기 계산은 다항 시간 내에 가능할 조건과 최대 엔트로피 분포의 근사 계산이 다항 시간 내에 가능할 조건이 서로 동치임을 보여준다.
• 근사 최대 엔트로피 오라클을 사용하여 |M|의 (1±ε)-근사치를 계산하는 타원체 기반 알고리즘을 제시한다. 이 알고리즘의 실행 시간은 m과 1/ε에 대해 다항식이다.
• 알고리즘은 진짜 해를 둘러싼 점점 작아지는 타원체의 시퀀스를 유지함으로써, 최종 추정치 Z^∘가 (1−ε)|M| ≤ Z^∘ ≤ (1+ε)|M|를 만족함을 보장한다. 이는 높은 확률로 성립한다.
• 알고리즘의 정당성은 g(θ) = log Z_λ가 높은 점들을 잘라내지 않는 분리 오라클에 의존한다. 이는 log|M|의 좋은 추정치로 수렴함을 보장한다.
• 진짜 모서리 벡터 θ^•가 P(M)의 η-내부에 있다는 가정 하에, 이는 타원체 알고리즘이 다항 시간 내에 수렴함을 보장한다.