[논문 리뷰] Fano's inequality for random variables

Sébastien Gerchinovitz, Pierre Ménard외 1명|arXiv (Cornell University)|2017. 02. 17.

Advanced Bandit Algorithms Research참고 문헌 29인용 수 5

한 줄 요약

이 논문은 새로운 베르누이 환원 기법과 f-발산에 대한 데이터 처리 부등식을 사용하여, 임의의 [0,1]-값을 가진 랜덤 변수와 분할되지 않은 사건으로 Fano의 부등식을 일반화한다. 주요 기여는 베이지안 사후 농도와 비스토닉 순차 학습의 오차 하한에 대해 새로운, 간결한 증명을 가능하게 하는 유연한 프레임워크를 제공하는 것이다. 적용 사례로는 정교화된 Pinsker 및 Bretagnolle-Hubert 부등식이 포함된다.

ABSTRACT

We extend Fano's inequality, which controls the average probability of events in terms of the average of some $f$--divergences, to work with arbitrary events (not necessarily forming a partition) and even with arbitrary $[0,1]$--valued random variables, possibly in continuously infinite number. We provide two applications of these extensions, in which the consideration of random variables is particularly handy: we offer new and elegant proofs for existing lower bounds, on Bayesian posterior concentration (minimax or distribution-dependent) rates and on the regret in non-stochastic sequential learning.

연구 동기 및 목표

• 분할된 사건과 이산적 가설을 넘어서 임의의 [0,1]-값을 가진 랜덤 변수와 연속적인 분포 가족으로 Fano의 부등식을 일반화하는 것.
• f-발산에 대한 데이터 처리 부등식과 함께 베르누이 환원 기법을 사용하여 통계적 학습 이론에서 새로운 하한을 도출하는 통합적 프레임워크를 제공하는 것.
• 베이지안 사후 농도와 순차 학습에서의 오차 하한에 대해 기존의 최소최대 및 분포에 의존하는 하한에 대한 더 단순하고 더 우아한 증명을 제공하는 것.
• 베르누이 기반 접근을 통해 Kullback-Leibler 발산에 대한 더 날카운 부등식, 특히 정교화된 Pinsker 및 향상된 Bretagnolle-Hubert 하한을 수립하는 것.
• 특히 베이지안 및 순차적 의사결정 문제에서 합이 1이 되지 않는 랜덤 변수를 다루는 데의 유용성을 보여주는 것.

제안 방법

• 일반적인 [0,1]-값을 가진 랜덤 변수를 베르누이 분포로 매핑하는 데 사용할 수 있는 새로운 베르누이 환원 기법을 도입하여 f-발산 하한의 적용을 가능하게 한다.
• 임의의 사건과 분할되지 않은 구조를 다룰 수 있도록 랜덤 변수의 기대값에 대한 데이터 처리 부등식을 활용한다.
• 매개수 q를 중심으로 Kullback-Leibler 발산의 두 번째 차수 테일러 전개를 적용하여 함수 f(p) = KL(p,q)/(p−q)²의 볼록성과 최소화 성질을 도출한다.
• 유도된 함수 f의 볼록성과 대칭성을 활용하여 두 베르누이 분포 간의 f-발산에 대한 날카운 하한을 유도한다.
• 데이터 처리 부등식을 사용하여, 특히 총변동과 테스트 유사도에 대해, 베르누이 분포에서의 하한을 일반 분포로 확장한다.
• 복잡한 f-발산 문제를 기본적인 베르누이 분포에 대한 하한으로 환원하여 깔끔하고 통찰력 있는 증명을 가능하게 한다.

실험 결과

연구 질문

• RQ1 합이 1이 되지 않는 임의의 [0,1]-값을 가진 랜덤 변수 Zθ를 다룰 수 있도록 Fano의 부등식을 어떻게 일반화할 수 있는가?
• RQ2 다중 가설 검정에서 분할되지 않은 사건으로 Fano의 부등식 프레임워크를 어떻게 확장할 수 있는가?
• RQ3 Fano 유형의 하한에서 대안 분포 Q가 θ에 따라 변할 경우의 의미는 무엇인가?
• RQ4 베르누이 환원 기법을 어떻게 활용하여 f-발산과 KL 발산에 대한 더 날카운 하한을 도출할 수 있는가?
• RQ5 이 프레임워크는 기존의 베이지안 사후 농도와 순차 학습의 오차 하한에 대한 증명을 더 단순하거나 더 통찰력 있게 만들 수 있는가?

주요 결과

• 논문은 ∑Zθ = 1 또는 ∫Zθ dθ = 1을 요구하지 않는 임의의 [0,1]-값을 가진 랜덤 변수 Zθ에 대해 일반적인 Fano 유형의 부등식을 수립한다.
• 함수 f(p) = KL(p,q)/(p−q)²의 최솟값이 p = 1−q에서 도달하며, f(1−q) = ϕ(q) ≥ 2를 만족함을 증명한다. 여기서 q ∈ (0,1)이고, 등호는 q = 1/2일 때에만 성립한다.
• 정교화된 Pinsker 부등식이 유도된다: |P(A)−Q(A)| ≤ √(KL(P,Q)/ϕ(Q(A)))이며, 여기서 ϕ(q) ≥ 2이므로 고전적 Pinsker 하한보다 향상된다.
• 향상된 Bretagnolle-Hubert 부등식이 증명된다: 1−|p−q| ≥ e⁻¹ᐟᵉ e⁻KL(p,q), 여기서 e⁻¹ᐟᵉ ≈ 0.69이며, 원래의 1/2 계수보다 향상된다.
• 이 프레임워크는 베이지안 사후 농도의 하한에 대한 새로운, 단순화된 증명을 가능하게 하며, 분포에 의존하는 속도도 포함된다.
• 이 방법은 베르누이 분포의 직접적 분석과 그 f-발산을 통해 정교화된 Pinsker 부등식에 대한 새로운, 기본적인 증명을 제공한다.