[논문 리뷰] On the variational distance of independently repeated experiments

Renato Renner|ArXiv.org|2005. 09. 05.

Optimal Experimental Design Methods참고 문헌 4인용 수 6

한 줄 요약

이 논문은 P와 Q가 최소 확률 ṕ > 0를 가진 결과에서 상당히 다를 경우, n중 곱 분포 Pⁿ과 Qⁿ 사이의 변동 거리에 대해 날카운 상계를 확립한다. 이 거리의 증가 속도는 √n 이하로 제한됨을 보여주며, 핵심 결과는 δ(Pⁿ, Qⁿ) ≤ √(n/(2ṕ)) δ(P, Q)임을 보여준다. 이는 이러한 조건 하에서 거리가 √n의 제곱근보다 더 빠르게 증가할 수 없다는 것을 의미한다.

ABSTRACT

Let P and Q be two probability distributions which differ only for values with non-zero probability. We show that the variational distance between the n-fold product distributions P^n and Q^n cannot grow faster than the square root of n.

연구 동기 및 목표

• 두 확률 분포 P와 Q의 n중 독립 반복인 Pⁿ과 Qⁿ 사이의 변동 거리 δ(Pⁿ, Qⁿ)의 渐近적 행동을 분석하는 것.
• 일般적인 경우에서 선형적으로 증가하는 것과는 달리, δ(Pⁿ, Qⁿ)가 n에 대해 비선형적으로 증가하지 않는 조건을 규명하는 것.
• P와 Q가 동일한 확률 하한을 가진 결과에서만 다를 경우, δ(Pⁿ, Qⁿ)에 대해 날카운 상계를 도출하는 것.
• 이러한 조건 하에서 δ(Pⁿ, Qⁿ)의 증가 속도가 √n이 최적임을 입증하여 기존의 하한값과 보완하는 것.

제안 방법

• P와 Q 사이를 연결하는 연속적인 분포의 가중치 Pₜ를 구성함으로써 경로 적분 접근법을 사용한다. 이는 t에 따라 매개변수화된 것이다.
• 변동 거리 δ(Pₜⁿ, Pₜ₀ⁿ)에 대한 t에 대한 우측 도함수를 적용하여 변화율을 제한한다.
• 변동 거리 표현식 내의 이항계수를 제한하기 위해 스타링의 근사법을 적용한다.
• 이항분포의 성질과 결과 시퀀스의 상대적 가능성 비율을 이용하여 δ(Pₜⁿ, Pₜ₀ⁿ)의 도함수에 상계를 도출한다.
• 중간 분포의 열을 통해 삼각 부등식을 적용하여 두점 간 차이에서 일반 분포로의 상계를 확장한다.
• 경로 통합을 통해 δ(Pⁿ, Qⁿ)를 도함수의 적분으로 표현하기 위해 보조정리 A.2를 사용한다.

실험 결과

연구 질문

• RQ1 δ(Pⁿ, Qⁿ)가 n에 대해 선형적으로 증가하는 것보다 느리게 증가하는 조건은 무엇인가?
• RQ2 P와 Q가 최소 확률 ṕ > 0를 가진 결과에서만 다를 경우, δ(Pⁿ, Qⁿ)에 대해 가장 날카운 상계는 무엇인가?
• RQ3 相대적 확률 차이가 작을 경우, δ(Pⁿ, Qⁿ)의 증가 속도는 nδ(P, Q)의 선형 상한과 어떻게 비교되는가?
• RQ4 최소 확률이 유계일 경우, √n 증가 속도가 δ(Pⁿ, Qⁿ)에 대해 필수적이고 충분한가?
• RQ5 δ(Pⁿ, Qⁿ)의 상계는 P와 Q가 다름을 보이는 결과의 최소 확률 ṕ에 어떻게 의존하는가?

주요 결과

• 변동 거리 δ(Pⁿ, Qⁿ)는 ṕ = inf_{z∈𝒟} min(P(z), Q(z)) 및 P와 Q가 다름을 보이는 집합 𝒟에서 δ(Pⁿ, Qⁿ) ≤ √(n/(2ṕ)) δ(P, Q)로 상한이 제시된다.
• 이 상한은 최적임을 입증한다. 즉, 임의의 ṕ > 0에 대해, 실제 δ(Pⁿ, Qⁿ)와 상한의 비율이 n이 증가함에 따라 1에 수렴하는 분포 P와 Q가 존재한다 (δ(Pⁿ, Qⁿ) ≪ 1일 경우).
• 더 날카운 상한 √(n + 1/ṕ)을 포함하는 형태도 유도된다: δ(Pⁿ, Qⁿ) ≤ (1/√(πṕ)) √(n + 1/ṕ) δ(P, Q), 이는 渐近적으로 최적이다.
• √(n/(2ṕ))에서 상수 1/2는, 모든 P, Q에 대해 min 확률이 ṕ인 경우 δ(Pⁿ, Qⁿ) ≤ √(cn/ṕ) δ(P, Q)가 항상 성립하도록 하는 최소 가능한 상수이다.
• 이 결과는 [4]에서 알려진 하한값과 보완된다. 이는 특정 조건 하에서 δ(Pⁿ, Qⁿ) ≥ Ω(√n) δ(P, Q)임을 보여주며, √n 증가 속도가 최적임을 확인한다.
• 증명 기법은 두점 간의 차이에서 일반 분포로 확장되며, 중간 분포의 열과 삼각 부등식을 통해 경로 통합을 통해 상한을 유지한다.