[論文レビュー] On Approximating Total Variation Distance

Arnab Bhattacharyya, Sutanu Gayen+4 more|arXiv (Cornell University)|Jun 14, 2022

Machine Learning and Algorithms被引用数 6

ひとこと要約

この論文は、{0,1}ⁿ 上の2つの積分布間の全変動（TV）距離を計算することは、#P完全であることを確立しており、正確な計算における本質的困難性を示している。しかし、一方の分布が一様または定数個の異なる周辺分布を持つ場合に、完全に多項式時間の決定的近似スキーム（FPTAS）を提示しており、一般の困難さにもかかわらず、これらの重要な設定において効率的な近似が可能であることを示している。

ABSTRACT

Total variation distance (TV distance) is a fundamental notion of distance between probability distributions. In this work, we introduce and study the problem of computing the TV distance of two product distributions over the domain $\{0,1\}^n$. In particular, we establish the following results. 1. The problem of exactly computing the TV distance of two product distributions is $\#\mathsf{P}$-complete. This is in stark contrast with other distance measures such as KL, Chi-square, and Hellinger which tensorize over the marginals leading to efficient algorithms. 2. There is a fully polynomial-time deterministic approximation scheme (FPTAS) for computing the TV distance of two product distributions $P$ and $Q$ where $Q$ is the uniform distribution. This result is extended to the case where $Q$ has a constant number of distinct marginals. In contrast, we show that when $P$ and $Q$ are Bayes net distributions, the relative approximation of their TV distance is $\mathsf{NP}$-hard.

研究の動機と目的

• 高次元の積分布 {0,1}ⁿ 間の全変動（TV）距離を計算する計算複雑性を理解すること。
• 分布が周辺分布を用いて簡潔に表現される場合に、TV距離の効率的な近似アルゴリズムが存在するかどうかを特定すること。
• TV距離を効率的に近似できる積分布の tractable な部分クラスを同定すること、特に一方の分布が一様または少数の異なる周辺分布を持つ場合に注目すること。
• KL、カイ二乗、ヘルンゲル距離などの他の発散が周辺分布に沿ってテンソル化され、効率的な計算を可能にするのに対し、TV距離の複雑性を対比すること。
• ベイジアンネットワークや構造的確率的モデルの文脈において、 tractable と intractable なケースの境界を探索すること。

提案手法

• #SAT などの難解な数え上げ問題からの還元を用いて、2つの積分布間の正確なTV距離計算の#P完全性を証明する。
• 一方の分布が一様である場合に、有限精度算術と指数的多数の部分集合における区間近似を活用することで、TV距離の完全に多項式時間の決定的近似スキーム（FPTAS）を構築する。
• 2番目の分布が定数個の異なる1次元周辺分布を持つ場合に、周辺分布の種類に基づいて定義域を分割し、複数の#ナップサックインスタンスを解くことで、FPTASを適応させる。
• TV距離の正規化表現を用いて、乗法的区間 [1, V) に収める（V ≤ 2^{poly(n)}）ことで、幾何的に増加する区間の対数的探索を可能にする。
• 部分集合 S ⊆ [n] における再帰的数え上げ戦略を用いて、正の差分 P(x) - Q(x) の和を推定し、動的計画法と#ナップサックインスタンスの近似を用いる。
• p_i < 1/2 の場合に、(1 - p_i) に変換することで数値的安定性を維持し、近似精度を保証する。パラメータ数は2倍に増えるが、定数 k の場合に多項式時間の近似を保証する。

実験結果

リサーチクエスチョン

• RQ1 2つの積分布間のTV距離の正確な計算は#P完全であるか？
• RQ2 一方の分布が一様である場合に、TV距離に対して完全に多項式時間の決定的近似スキーム（FPTAS）を設計できるか？
• RQ3 FPTASの存在が、2番目の分布に定数個の異なる周辺分布しか持たない場合に拡張可能か？
• RQ4 ベイズネットのようなより一般的なモデルにおいて、TV距離の相対的近似の複雑性はいかほどか？
• RQ5 KL、カイ二乗、ヘルンゲル距離のように周辺分布に沿ってテンソル化される他の発散と比較して、TV距離の計算複雑性はどのようになるか？

主な発見

• 2つの積分布間のTV距離の正確な計算は、2番目の分布が高々3種類の異なる1次元周辺分布を持つ場合ですら#P完全である。
• 積分布 P と {0,1}ⁿ 上の一様分布 Q 間のTV距離を、近似誤差 (1±ε) で計算するFPTASが存在し、実行時間は n および 1/ε に対して多項式時間である。
• Q が定数個の異なる周辺分布を持つ場合にも、FPTASは拡張可能であり、分割と#ナップサックインスタンスにおける近似数え上げを用いることで、多項式時間の実行を維持する。
• P と Q がベイジアンネット分布である場合、それらのTV距離の相対的近似はNP困難である。これは、 tractable な積分布ケースとは明確な対比を示している。
• TV距離は、部分集合 S ⊆ [n] について max(0, P(S) - Q(S)) の和として表現でき、この和は定義域の分割と有限精度算術による寄与の推定によって近似される。
• p_i < 1/2 の分布に対しては、(1 - p_i) に再パラメータ化することで近似精度を維持する。パラメータ数は2倍に増えるが、定数 k の場合に多項式時間の実行を保証する。