[論文レビュー] On the variational distance of independently repeated experiments

Renato Renner|ArXiv.org|Sep 5, 2005

Optimal Experimental Design Methods参考文献 4被引用数 6

ひとこと要約

本稿では、n回の独立同一反復における分布PⁿとQⁿの変分距離について、PとQが最小確率ṕ > 0 を持つ事象で顕著に異なる場合、その距離が√nのオーダーでしか増大しないことを示し、タイトな上界を与える。主な結果はδ(Pⁿ, Qⁿ) ≤ √(n/(2ṕ)) δ(P, Q)であり、このような条件下では距離がnの平方根よりも速く増大することはないことを示している。

ABSTRACT

Let P and Q be two probability distributions which differ only for values with non-zero probability. We show that the variational distance between the n-fold product distributions P^n and Q^n cannot grow faster than the square root of n.

研究の動機と目的

• 2つの確率分布PとQのn回の独立同一反復PⁿとQⁿの間の変分距離δ(Pⁿ, Qⁿ)の漸近的挙動を分析すること。
• 一般の場合に線形に増大するのではなく、nに関して非線形に増大する条件を同定すること。
• PとQが確率に下限がある事象のみで異なる場合に、δ(Pⁿ, Qⁿ)のタイトな上界を導出すること。
• このような条件下でδ(Pⁿ, Qⁿ)の増大率が√nが最適であることを確立し、既存の下界と補完すること。

提案手法

• PとQの間を滑らかに補間する分布族Pₜを構築することで、経路積分的手法を用いる。
• 変分距離δ(Pₜⁿ, Pₜ₀ⁿ)のtに関する右微分を用いて、変化率を制限する。
• スターリングの近似を用いて、変分距離式に現れる二項係数を評価する。
• 二項分布の性質と系列の相対尤度を用いて、δ(Pₜⁿ, Pₜ₀ⁿ)の微分の上界を導出する。
• 中間分布の系列を介して三角不等式を適用し、2点間の差から一般分布への境界を拡張する。
• 補題A.2を用いて、δ(Pⁿ, Qⁿ)を経路に沿った微分の積分として表し、総変動距離を評価する。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で変分距離δ(Pⁿ, Qⁿ)がnに関して線形に増大するのではなく、より遅く増大するか？
• RQ2 PとQが最小確率ṕ > 0 を持つ事象でのみ異なる場合、δ(Pⁿ, Qⁿ)のタイトな上界は何か？
• RQ3 相対的な確率差が小さい場合、δ(Pⁿ, Qⁿ)の増大率は線形境界nδ(P, Q)と比べてどうなるか？
• RQ4 最小確率が有界な条件下で、√nの増大率がδ(Pⁿ, Qⁿ)に対して必要かつ十分であるか？
• RQ5 この境界は、PとQが異なる事象の最小確率ṕにどのように依存するか？

主な発見

• 変分距離δ(Pⁿ, Qⁿ)は、ṕ = inf_{z∈𝒟} min(P(z), Q(z)) および 𝒟 をPとQが異なる集合とするとき、√(n/(2ṕ)) δ(P, Q) で上界づけられる。
• この境界は、任意のṕ > 0 に対して、nが増加するにつれて実際のδ(Pⁿ, Qⁿ)と境界の比が1に近づくような分布PとQが存在することから、最適性を有する。
• よりタイトな境界 √(n + 1/ṕ) を含むものも導出され、δ(Pⁿ, Qⁿ) ≤ (1/√(πṕ)) √(n + 1/ṕ) δ(P, Q) が得られ、これは漸近的に最適である。
• √(n/(2ṕ)) の定数1/2は、任意のP, Qに対してmin確率ṕを満たすとき、不等式δ(Pⁿ, Qⁿ) ≤ √(cn/ṕ) δ(P, Q) が成り立つような最小の定数である。
• 本結果は、[4]で知られている下界δ(Pⁿ, Qⁿ) ≥ Ω(√n) δ(P, Q) を補完しており、√nの増大率がタイトであることを確認している。
• 2点間の差から一般分布への拡張は、中間分布の系列と三角不等式を用いることで可能となり、経路積分により境界が保たれる。