[논문 리뷰] Optimal Bounds between $f$-Divergences and Integral Probability Metrics

Rohit Agrawal, Thibaut Horel|arXiv (Cornell University)|2020. 06. 10.

Statistical Mechanics and Entropy참고 문헌 72인용 수 2

한 줄 요약

이 논문은 볼록 쌍대성과 f-발산의 날카운 변동 표현을 사용하여 f-발산과 적분 확률 거리(IPM) 사이의 최적 경계를 수립한다. 일반화된 모멘트 생성 함수를 도입하여 주어진 IPM에 대한 f-발산의 최고의 하한을 정확히 특성화함으로써, 핀스커 부등식과 헤머슬리-체이프먼-로빈스 경계와 같은 고전적 결과들을 통합하고 확장한다.

ABSTRACT

The families of $f$-divergences (e.g. the Kullback-Leibler divergence) and Integral Probability Metrics (e.g. total variation distance or maximum mean discrepancies) are widely used to quantify the similarity between probability distributions. In this work, we systematically study the relationship between these two families from the perspective of convex duality. Starting from a tight variational representation of the $f$-divergence, we derive a generalization of the moment-generating function, which we show exactly characterizes the best lower bound of the $f$-divergence as a function of a given IPM. Using this characterization, we obtain new bounds while also recovering in a unified manner well-known results, such as Hoeffding's lemma, Pinsker's inequality and its extension to subgaussian functions, and the Hammersley-Chapman-Robbins bound. The variational representation also allows us to prove new results on topological properties of the divergence which may be of independent interest.

연구 동기 및 목표

• 볼록 쌍대성을 사용하여 f-발산과 적분 확률 거리(IPM) 사이의 관계를 체계적으로 분석하는 것.
• f-발산의 날카운 변동 표현을 유도하여 IPM에 대한 최적 하한을 특성화할 수 있도록 하는 것.
• 호프딩의 보조정리, 핀스커 부등식, 헤머슬리-체이프먼-로빈스 경계와 같은 고전적 결과들을 하나의 프레임워크 안에서 통합하고 일반화하는 것.
• f-발산의 새로운 위상적 성질을 수립하여 독립적인 이론적 관심을 끌 수 있도록 하는 것.

제안 방법

• 볼록 쌍대성을 사용하여 f-발산의 날카운 변동 표현을 유도함으로써 IPM와의 관계를 정밀하게 분석할 수 있도록 하는 것.
• 주어진 IPM에 대한 f-발산의 최고의 하한을 정확히 특성화하는 일반화된 모멘트 생성 함수를 도입하는 것.
• 변동 표현을 활용하여 기존의 부등식을 복원하고 확장하며, 핀스커 부등식의 서브가우시안 확장을 포함한다.
• 이 프레임워크를 적용하여 f-발산의 새로운 위상적 성질(예: 연속성, IPM 수렴 하에서의 수렴 행동)을 증명하는 것.
• 다양한 함수 클래스에서 f-발산과 IPM를 체계적으로 비교할 수 있도록 쌍대성 기반의 특성화를 수립하는 것.
• 일반화된 모멘트 생성 함수를 활용하여 정보 이론과 통계 추론 분야의 결과들을 통합하고 일반화하는 것.

실험 결과

연구 질문

• RQ1 주어진 적분 확률 거리(IPM)에 대해 f-발산의 가장 날카운 가능한 하한은 무엇인가?
• RQ2 볼록 쌍대성은 f-발산과 IPM 사이의 체계적인 관계를 어떻게 설정하는가?
• RQ3 핀스커 부등식과 호프딩의 보조정리와 같은 고전적 부등식들이 통합된 변동 프레임워크 안에서 복원되고 확장될 수 있는가?
• RQ4 이 쌍대성 기반 표현으로부터 f-발산의 어떤 위상적 성질이 도출되는가?
• RQ5 일반화된 모멘트 생성 함수는 f-발산과 IPM 사이의 관계를 어떻게 특성화하는가?

주요 결과

• 논문은 주어진 IPM에 대한 f-발산의 최고의 하한을 정확히 특성화하는 일반화된 모멘트 생성 함수를 도출한다.
• 이 프레임워크는 호프딩의 보조정리, 핀스커 부등식, 헤머슬리-체이프먼-로빈스 경계와 같은 잘 알려진 결과들을 하나의 변동 프레임워크 안에서 복원하고 통합한다.
• 변동 표현을 통해 서브가우시안 함수에 대한 새로운 경계를 도출할 수 있으며, 이는 고전적 핀스커 부등식을 이 설정으로 확장한다.
• 이 프레임워크는 f-발산의 새로운 위상적 성질(예: 연속성, IPM 수렴 하에서의 수렴)을 증명한다.
• 결과적으로 제안된 일반화된 모멘트 생성 함수가 주어진 IPM에 대해 가능한 최소 f-발산을 날카롭고 정확하게 특성화함을 보여준다.
• 이 접근법은 통계학습과 정보이론 분야에 응용 가능한 f-발산과 IPM 간의 체계적 비교 및 경계 설정 방법을 제공한다.