[논문 리뷰] Bounds among $f$-divergences

Igal Sason, Sergio Verdú|arXiv (Cornell University)|2015. 08. 03.

Statistical Mechanics and Entropy참고 문헌 73인용 수 7

한 줄 요약

이 논문은 유계 상대 정보 하에서 함수적 지배와 모멘트 부등식을 사용하여 상대 엔트로피, 카이 제곱, 총 변동, 레니 분산과 같은 다양한 f-분산 간의 날카운 경계를 수립한다. 이는 핀스커의 부등식을 Eγ 분산으로 확장하고, 상대 정보 스펙트럼에 대한 레니 분산의 적분 표현을 도출하여 새로운 역 핀스커 유형의 부등식을 이끌어낸다.

ABSTRACT

This paper develops methods to obtain bounds on an $f$-divergence based on one or several other $f$-divergences, dealing with pairs of probability measures defined on arbitrary alphabets. Functional domination is one such approach, where special emphasis is placed on finding the best possible constant upper bounding a ratio of $f$-divergences. Another approach used for the derivation of bounds among $f$-divergences relies on moment inequalities and the logarithmic-convexity property, which is studied in this paper to obtain tight bounds on the relative entropy and Bhattacharyya distance in terms of $\chi^2$ divergences. A rich variety of bounds are shown to hold under boundedness assumptions on the relative information. Special attention is on the total variation distance and its relation to the relative information and relative entropy, including reverse Pinsker inequalities, as well as on the $E_\gamma$ divergence, which generalizes the total variation distance. Pinsker's inequality is extended for this type of $f$-divergence, a result which leads to an inequality that links the relative entropy and relative information spectrum. Integral expressions of the R\'enyi divergence in terms of the relative information spectrum are derived, leading to bounds on the R\'enyi divergence in terms of either the variational distance or relative entropy.

연구 동기 및 목표

• 임의의 알파벳에서 한 f-분산을 다른 f-분산으로 바ounds하는 일반적인 방법을 개발하는 것.
• 유계 상대 정보 하에서 카이 제곱 분산과 모멘트 부등식을 사용하여 상대 엔트로피와 바타차리야 거리에 대한 날카운 최적 경계를 수립하는 것.
• 총 변동 거리와 상대 엔트로피, 상대 정보 간의 역 핀스커 부등식을 조사하는 것.
• 핀스커의 부등식을 총 변동의 일반화인 Eγ 분산으로 확장하는 것.
• 상대 정보 스펙트럼에 대한 레니 분산의 적분 표현을 도출하는 것.

제안 방법

• 두 f-분산 비율의 최적 상한을 구하기 위해 함수적 지배를 사용한다.
• 모멘트 부등식과 로그-볼록성 성질을 적용하여 카이 제곱 분산을 통해 상대 엔트로피와 바타차리야 거리를 바ounds한다.
• 상대 정보에 대한 유계 조건을 도입하여 총 변동과 상대 엔트로피를 포함하는 날카운 부등식을 유도한다.
• 총 변동의 일반화로 Eγ 분산을 도입하고, 그에 대한 핀스커 유형의 부등식을 유도한다.
• 상대 정보 스펙트럼을 사용하여 레니 분산의 적분 표현을 유도함으로써, 변동 거리 또는 상대 엔트로피에 대한 바ounds를 가능하게 한다.
• 변동 기법과 볼록 분석을 활용하여 유도된 바ounds의 날카움을 다양한 f-분산 간에 특성화한다.

실험 결과

연구 질문

• RQ1 함수적 지배를 통해 두 f-분산 비율을 바ounds하는 데 있어 가능한 최고의 상수는 무엇인가?
• RQ2 모멘트 부등식과 로그-볼록성은 어떻게 카이 제곱 분산에 대해 상대 엔트로피와 바타차리야 거리를 바ounds하는 데 사용될 수 있는가?
• RQ3 총 변동과 상대 엔트로피 사이의 역 핀스커 부등식이 성립하는 조건은 무엇인가?
• RQ4 핀스커의 부등식은 Eγ 분산으로 확장될 수 있으며, 이는 정보 이론적 바ounds에 어떤 영향을 미치는가?
• RQ5 레니 분산과 상대 정보 스펙트럼을 연결하는 적분 표현은 무엇이며, 이러한 표현이 새로운 바ounds를 어떻게 도출하는가?

주요 결과

• 함수적 지배를 사용하여 임의의 알파벳에서 두 f-분산 비율의 최적 상한을 유도하며, 이는 모든 알파벳에서 날카운 경계를 보장한다.
• 유계 상대 정보 하에서 카이 제곱 분산에 대해 상대 엔트로피와 바타차리야 거리에 대한 날카운 경계가 확립된다.
• 유계 조건 하에서 총 변동 거리와 상대 엔트로피, 상대 정보 간의 역 핀스커 부등식이 도출된다.
• 핀스커의 부등식이 총 변동의 일반화인 Eγ 분산으로 확장되며, 이는 새로운 정보 이론적 부등식의 클래스를 제공한다.
• 상대 정보 스펙트럼에 대한 레니 분산의 적분 표현이 도출되며, 이는 변동 거리 또는 상대 엔트로피에 대한 바ounds를 가능하게 한다.
• 유도된 바ounds가 날카롭고, 상대 엔트로피, 카이 제곱, 레니 분산을 포함한 다양한 f-분산에 적용 가능하다.