[논문 리뷰] A Tight Lower Bound for the Hellinger Distance with Given Means and Variances

Tomohiro Nishiyama|arXiv (Cornell University)|2020. 10. 26.

Statistical Mechanics and Entropy참고 문헌 12인용 수 9

한 줄 요약

이 논문은 주어진 평균과 분산을 바탕으로 두 확률 분포 간의 제곱 헬링거 거리에 대해 날카운 하한을 확립하며, 이 하한이 두 점 지지에서의 이元 분산에 의해 달성됨을 증명한다. 이 결과는卡이-제곱 및 상대 엔트로피 분산에 대해 알려진 성질을 헬링거 거리로 확장하며, f-분산이 이 하한 성질을 만족하는 조건을 규명하는 열린 문제를 제기한다.

ABSTRACT

The binary divergences that are divergences between probability measures defined on the same 2-point set have an interesting property. For the chi-squared divergence and the relative entropy, it is known that their binary divergence attain lower bounds with given means and variances, respectively. In this note, we show that the binary divergence of the squared Hellinger distance has the same property and propose an open problem that what conditions are needed for f-divergence to satisfy this property.

연구 동기 및 목표

• 주어진 평균과 분산 하에서 제곱 헬링거 거리에 대한 날카운 하한을 확립하는 것.
• 이 하한이 카이-제곱 및 상대 엔트로피 분산에 대해 알려진 결과와 유사하게 두 점 지지에서의 이원 분산에 의해 달성됨을 보이는 것.
• 모멘트 제약 조건 하에서 f-분산이 이원 분포를 통해 최소값을 달성하는 조건을 규명하는 것.
• f-분산이 '하한 조건'을 만족하는 경우를 규명하는 열린 문제를 제기하는 것.

제안 방법

• f(t) = ½(√t − 1)²를 사용하여 제곱 헬링거 거리를 f-분산으로 유도한다.
• 고정된 일차 및 이차 모멘트를 가진 확률 측도 위에서 변분 최적화를 수행하여 하한을 유도한다.
• 지정된 확률 r과 s를 가진 {u₁, u₂}에서의 두 점 분포 (P, Q)를 구성하여 하한을 달성한다.
• 차이가 있는 평균(a)과 분산 차이(b)를 사용하여 v의 유도된 표현식을 통해 하한을 표현한다.
• 모든 분포의 헬링거 거리가 수렴하는 수열을 사용하여, 평균이 동일할 경우 하한이 0임을 보이는 극한 근거를 적용한다.
• 이원 헬링거 하한을 이전에 알려진 하한과 비교하여, 함수 g(x) = (1+x)/(1+√x)²를 통해 곱수 인자 관계를 확립한다.

실험 결과

연구 질문

• RQ1 카이-제곱 및 상대 엔트로피 분산과 유사하게, 주어진 평균과 분산 하에서 제곱 헬링거 거리가 날카운 하한을 갖는가?
• RQ2 모멘트 제약 조건 하에서 두 분포 간의 최소 헬링거 거리가 두 점 집합에서의 이원 분포에 의해 달성될 수 있는가?
• RQ3 f-분산의 볼록 함수 f에 대해 어떤 조건이 주어진 평균과 분산 하에서 이원 분산이 최소값을 달성하도록 보장하는가?
• RQ4 α-분산이 '하한 조건'을 만족하는 값 α는 무엇인가?
• RQ5 헬링거 거리의 하한은 평균과 분산 차이를 기반으로 이전에 알려진 하한과 어떻게 관련이 있는가?

주요 결과

• 제곱 헬링거 거리는 h²(r,s) = 1 − √(1 − a²/(a² + (σ_P + σ_Q)²))로 주어진 하한을 갖는다. 여기서 a = m_P − m_Q이다.
• 이 하한은 a, b = σ_Q² − σ_P² 및 v를 사용하여 정의된 확률 r과 s를 가진 두 점 지지에서의 이원 분포에 의해 달성된다.
• m_P = m_Q일 경우, 헬링거 거리의 하한은 0이며, 이는 수렴하는 거리의 수열을 통해 접근된다.
• 이원 헬링거 하한은 이전에 알려진 하한 l(m_P, σ_P, m_Q, σ_Q)의 상수 인자 범위 내에서 아래와 위로 유계이며, 이 인자는 r과 s에 의존한다.
• 하한 h²(r,s)는 β_min × l(m_P, σ_P, m_Q, σ_Q)보다 크거나 같음을 보였으며, 여기서 β_min ≥ 1이며 비율은 두 점 지지의 상대적 확률에 따라 달라진다.
• 논문은 f에 대한 일반적 조건을 규명하여 f-분산이 '하한 조건'을 만족하는지에 대한 열린 문제를 제기한다.