[논문 리뷰] Local Pinsker inequalities via Stein's discrete density approach

Christophe Ley, Yvik Swan|arXiv (Cornell University)|2012. 11. 15.

Random Matrices and Applications참고 문헌 30인용 수 4

한 줄 요약

이 논문은 새로운 스틸 연산자 프레임워크를 사용하여 이산 분포에 대해 일반화된 이산 피셔 정보 거리 $\mathcal{J}(X,Y)$를 도입한다. 이 거리가 총 변동 거리의 제곱을 지배함을 증명하여, 기존 결과와 비교해 개선된 상수를 가진 국소 핀스커 유형 부등식을 수립한다.

ABSTRACT

Pinsker's inequality states that the relative entropy $d_{\mathrm{KL}}(X, Y)$ between two random variables $X$ and $Y$ dominates the square of the total variation distance $d_{\mathrm{TV}}(X,Y)$ between $X$ and $Y$. In this paper we introduce generalized Fisher information distances $\mathcal{J}(X, Y)$ between discrete distributions $X$ and $Y$ and prove that these also dominate the square of the total variation distance. To this end we introduce a general discrete Stein operator for which we prove a useful covariance identity. We illustrate our approach with several examples. Whenever competitor inequalities are available in the literature, the constants in ours are at least as good, and, in several cases, better.

연구 동기 및 목표

• 스티븐의 방법을 활용하여 이산 확률론에서 국소 핀스커 부등식을 위한 일반적 프레임워크를 개발하는 것.
• 이산 분포 $X$와 $Y$ 간의 이질성 정도를 측정하는 일반화된 이산 피셔 정보 거리 $\mathcal{J}(X,Y)$를 정의하는 것.
• 정보 이론적 부등식 유도를 가능하게 하는 새로운 이산 스틸 연산자에 대한 공분산 항등식을 수립하는 것.
• 이산 분포에 대한 기존 문헌의 경계를 개선하여 국소 핀스커 부등식의 상수를 더욱 날카롭게 제공하는 것.
• 포isson 및 이항 분포 기반 접근법을 포함한 기존 이산 정보 거리 접근법을 통합하고 일반화하는 것.

제안 방법

• 임의의 목표 분포 $p$에 맞추어 설계된 일반적인 이산 스틸 연산자 도입; $\mathcal{F}^\eta(p)$ 내 함수에 대한 전진 및 후진 연산자로 정의.
• 스틸 연산자와 일반화된 피셔 정보 거리 $\mathcal{J}(X,Y) = \mathbb{E}_q[(r(p,q)(Y))^2]$를 연결하는 핵심 공분산 항등식 유도; 여기서 $r(p,q)$는 스코어 유사 기능이다.
• 포isson, 이항, 음의 초기하학적, 지브스 측도 등 특정 분포에 이 프레임워크 적용; 스틸 연산자의 명시적 형태 도출.
• $\mathcal{J}(X,Y) \geq 0$ 이며 등호가 성립하는 것은 $X \stackrel{\mathcal{L}}{=} Y$일 때에만임을 증명하여, 이 기능이 타당한 이질성 측도로 작용함을 보장.
• 공분산 항등식을 활용하여 $d_{\mathrm{TV}}(X,Y) \leq \kappa \sqrt{\mathcal{J}(X,Y)}$ 형태의 국소 핀스커 부등식을 증명; 여기서 $\kappa$는 목표 분포 $p$에만 의존한다.
• 예시를 통한 검증을 통해 유도된 부등식 상수들이 기존 문헌의 것들과 비교해 적어도 동일하거나 더 우수함을 보여줌.

실험 결과

연구 질문

• RQ1 임의의 이산 분포에 대해 총 변동 거리를 지배하는 피셔 유형 정보 거리로 작용하는 일반적인 이산 스틸 연산자를 구성할 수 있는가?
• RQ2 유도된 일반화된 피셔 정보 거리 $\mathcal{J}(X,Y)$가 목표 분포에만 의존하는 보편 상수 $\kappa$를 가진 국소 핀스커 부등식을 만족하는가?
• RQ3 포isson, 이항 및 기타 이산 목표 분포에 대해 유도된 국소 핀스커 부등식의 상수들이 기존 문헌의 것들과 비교해 어떻게 되는가?
• RQ4 통일된 연산자 구성 방식을 통해 이론적 가족 및 기타 이산 가역 가족에 대해 이 프레임워크를 체계적으로 적용할 수 있는가?
• RQ5 공분산 항등식은 이산 설정에서 스틸 연산자와 정보 이론적 발산 간의 연결에 어떤 역할을 하는가?

주요 결과

• 일반화된 피셔 정보 거리 $\mathcal{J}(X,Y)$는 새로운 이산 스틸 연산자를 통해 정의되며, $\mathcal{J}(X,Y) \geq 0$ 이며 등호가 성립하는 것은 $X \stackrel{\mathcal{L}}{=} Y$일 때에만 성립함을 보임.
• 논문은 국소 핀스커 부등식을 증명함: $d_{\mathrm{TV}}(X,Y) \leq \kappa \sqrt{\mathcal{J}(X,Y)}$; 여기서 $\kappa$는 목표 분포 $p$에만 의존함.
• 포isson 목표 분포에 대해 유도된 상수는 기존의 $\mathcal{K}(Po(\lambda),Y)$ 또는 $\mathcal{J}(Po(\lambda),Y)$를 사용한 접근 방식과 비교해 적어도 동일하거나 더 우수함.
• 이 프레임워크는 이항, 음의 초기하학적, 지브스 측도 등 여러 이산 분포에 적용되어 스틸 연산자의 명시적 형태와 해당 정보 거리가 도출됨.
• 이산 스틸 연산자에 대해 유도된 공분산 항등식은 국소 핀스커 부등식을 통합적이고 일반적인 방식으로 도출할 수 있게 해줌.
• 더 정교한 스코어 함수 구성 방식을 활용하여 문헌에서 알려진 경계를 개선함; 특히 승수 상수 $\kappa$ 측면에서 향상됨.