[논문 리뷰] On Approximating Total Variation Distance

Arnab Bhattacharyya, Sutanu Gayen외 4명|arXiv (Cornell University)|2022. 06. 14.

Machine Learning and Algorithms인용 수 6

한 줄 요약

이 논문은 {0,1}ⁿ 상의 두 제품 분포 간의 총 변동(TV) 거리 계산이 #P-완전하다는 것을 입증하며, 정확한 계산의 본질적 비가역성을 시사한다. 그러나 한 분포가 균일하거나 일정한 수의 서로 다른 원인 확률을 가진 경우, 전체적으로는 어려운 상황이지만 효율적인 근사 계산이 가능한 완전 다항시간 결정적 근사 계획(FPTAS)을 제시한다.

ABSTRACT

Total variation distance (TV distance) is a fundamental notion of distance between probability distributions. In this work, we introduce and study the problem of computing the TV distance of two product distributions over the domain $\{0,1\}^n$. In particular, we establish the following results. 1. The problem of exactly computing the TV distance of two product distributions is $\#\mathsf{P}$-complete. This is in stark contrast with other distance measures such as KL, Chi-square, and Hellinger which tensorize over the marginals leading to efficient algorithms. 2. There is a fully polynomial-time deterministic approximation scheme (FPTAS) for computing the TV distance of two product distributions $P$ and $Q$ where $Q$ is the uniform distribution. This result is extended to the case where $Q$ has a constant number of distinct marginals. In contrast, we show that when $P$ and $Q$ are Bayes net distributions, the relative approximation of their TV distance is $\mathsf{NP}$-hard.

연구 동기 및 목표

• 두 {0,1}ⁿ 상의 고차원 제품 분포 간의 총 변동(TV) 거리 계산의 계산 복잡도를 이해하는 것.
• 분포가 원인 확률을 통해 압축 표현된 경우 TV 거리에 대한 효율적인 근사 알고리즘이 존재하는지 확인하는 것.
• 특히 한 분포가 균일하거나 적은 수의 서로 다른 원인 확률을 가진 경우, TV 거리가 효율적으로 근사 가능한 트랙터러블 서브클래스를 식별하는 것.
• KL, 카이제곱, 헬링거와 같은 다른 분산 측정법과의 복잡도 대비를 고려하여, 이러한 측정법들이 원인 확률에 대해 텐서화되어 효율적 계산이 가능하다는 점을 고려하는 것.
• 특히 베이지안 네트워크 및 구조적 확률 모델의 맥락에서 트랙터러블과 비트랙터러블 사례의 경계를 탐색하는 것.

제안 방법

• 어려운 수의 문제, 특히 #SAT에서의 감소를 이용하여 두 제품 분포 간 정확한 TV 거리 계산의 #P-완전성을 입증한다.
• 한 분포가 균일한 경우, 유한 정밀도 산술과 지수적으로 많은 부분집합에 대한 간격 근사 기법을 활용하여 TV 거리에 대한 완전 다항시간 결정적 근사 계획(FPTAS)을 개발한다.
• 두 번째 분포가 일정한 수의 서로 다른 일변량 원인 확률을 가진 경우, 원인 유형 기반으로 도메인을 분할하고 다수의 #Knapsack 인스턴스를 해결하여 FPTAS를 적응시킨다.
• TV 거리를 정규화된 표현으로 사용하여 곱셈 간격 [1, V) 내에 제한하며, V ≤ 2^{poly(n)}이 되도록 하여 기하급수적 간격에 대한 로그 탐색을 가능하게 한다.
• 부분집합 S ⊆ [n]에 대한 재귀적 수세기 전략을 사용하여 양의 차이 P(x) - Q(x)의 합을 추정하며, 동적 프로그래밍과 #Knapsack 인스턴스의 근사 기법을 활용한다.
• p_i < 1/2 인 경우, 수치적 안정성 확보와 다항시간 근사 보장 목적으로 (1 - p_i)로 재매개변수화하며, 파rameter 수를 두 배로 늘리지만, 일정한 k에 대해 효율성 유지.

실험 결과

연구 질문

• RQ1 두 제품 분포 간 정확한 TV 거리 계산이 #P-완전한가?
• RQ2 한 분포가 균일한 경우, TV 거리에 대한 완전 다항시간 결정적 근사 계획(FPTAS)을 설계할 수 있는가?
• RQ3 FPTAS 존재성이 두 번째 분포가 일정한 수의 서로 다른 원인 확률을 가진 경우로 확장되는가?
• RQ4 베이즈 넷과 같은 더 일반적인 모델에 대해 TV 거리의 상대적 근사 계산의 복잡도는 어떠한가?
• RQ5 KL, 카이제곱, 헬링거와 같은 다른 분산 측정법과 비교해, TV 거리의 계산 복잡도는 어떻게 되는가? 이러한 측정법들은 원인 확률에 대해 텐서화되어 효율적 계산이 가능하다.

주요 결과

• 두 제품 분포 간 정확한 TV 거리 계산은 #P-완전하며, 두 번째 분포가 최대 세 개의 서로 다른 일변량 원인 확률을 가진 경우에도 마찬가지다.
• 제품 분포 P와 {0,1}ⁿ 상의 균일 분포 Q 간의 TV 거리 계산에 대해 FPTAS가 존재하며, 근사 오차 (1±ε)와 함께 n 및 1/ε에 다항시간으로 실행된다.
• Q가 일정한 수의 서로 다른 원인 확률을 가진 경우에도 FPTAS가 확장되며, 분할 및 #Knapsack 인스턴스에 대한 근사 수세기 기법을 통해 다항시간 실행 유지.
• P와 Q가 베이즈 넷 분포인 경우, 그들의 TV 거리 상대적 근사는 NP-난이도이며, 트랙터러블 제품 사례와의 뚜렷한 대비를 보인다.
• TV 거리는 부분집합 S ⊆ [n]에 대해 max(0, P(S) - Q(S))의 합으로 표현되며, 이 합은 도메인을 분할하고 유한 정밀도 산술을 통해 기여도를 추정하여 근사된다.
• 원인 확률 p_i < 1/2 인 경우, 근사 정확도 유지 목적으로 (1 - p_i)로 재매개변수화하며, 파rameter 수를 두 배로 늘리지만 일정한 k에 대해 다항시간 실행 유지.