[논문 리뷰] Bounds on the Jensen Gap, and Implications for Mean-Concentrated Distributions

Xiang Gao, Meera Sitharam외 1명|arXiv (Cornell University)|2017. 12. 11.

Mathematical Inequalities and Applications참고 문헌 20인용 수 39

한 줄 요약

이 논문은 함수의 성장 특성과 분포의 모멘트를 이용하여 젠센 갭(Jensen gap)—임의의 랜덤 변수에 대한 함수의 기대값과 기대값에 대한 함수의 차이—에 대한 새로운 상한과 하한을 설정한다. 이 경계는 평균에 집중된 분포, 예를 들어 표본 평균이나 통계역학의 시스템과 같이 특히 효과적이며, 추정의 편향과 열역학적 양의 변동성에 대한 날카운 비선형 추정을 제공한다.

ABSTRACT

This paper gives upper and lower bounds on the gap in Jensen's inequality, i.e., the difference between the expected value of a function of a random variable and the value of the function at the expected value of the random variable. The bounds depend only on growth properties of the function and specific moments of the random variable. The bounds are particularly useful for distributions that are concentrated around the mean, a commonly occurring scenario such as the average of i.i.d. samples and in statistical mechanics.

연구 동기 및 목표

• 함수 성장 특성과 분포 모멘트에만 의존하는 계산 가능한 젠센 갭 상한 및 하한을 유도하는 것.
• 랜덤 변수가 평균 주변에 집중되어 있는 상황(예: 경험적 평균 또는 통계역학에서의 큰 시스템)에서 젠센 갭을 추정하는 데 도전하는 것.
• 특히 $ \mathbb{E}[f(X)] $ 가 계산이 불가능한 경우 $ f(\mathbb{E}[X]) $ 를 $ \mathbb{E}[f(X)] $ 의 대체로 사용하는 추정기의 편향을 제한하는 일반적인 프레임워크를 제공하는 것.
• 기존 경계를 개선하기 위해 고차 모멘트와 함수 $ f $ 에 대한 일반화된 호일더 조건을 통합함으로써 실용적 응용에 있어 정확도를 향상시키는 것.
• 변분 추론, 확률적 최적화, 열역학적 변동 분석에서 오차 추정을 향상시키기 위해 젠센 갭을 측정 가능한 모멘트 양과 연결하는 것.

제안 방법

• 함수 $ f(x) - f(\mu) $ 를 $ s(x) \cdot t(x) $ 의 곱으로 표현하여 상한을 유도함. 여기서 $ s(x) $ 는 유계이고 $ t(x) $ 는 모멘트 기반으로 적분 가능함.
• $ f $ 가 $ \alpha $-홀더 연속임을 가정하여 젠센 갭을 $ M \cdot \sigma_\alpha^\alpha $ 로 경계함. 여기서 $ \sigma_\alpha $ 는 $ \alpha $-번째 절대 중심 모멘트임.
• 적절한 성장 조건 하에서 $ f(x)/t(x) $ 가 0에서 일정하게 떨어지도록 함수 $ t(x) $ 를 구성함으로써 하한을 확립하고, 갭을 $ \sigma_\alpha^\alpha $ 또는 모멘트의 조합과 연결함.
• 가중치 합으로 된 모멘트를 통한 일반화: 상한은 $ \sum a_\eta \sigma_\eta^\eta $ 를 사용하고, 하한은 $ \sigma_\eta^{\eta} $ 의 역수 형태를 사용하며 적절한 정규화를 적용함.
• 함수 $ f $ 가 볼록 또는 오목이고 $ f' $ 이 제어 가능한 성장 특성을 가진 경우에 적용 가능한 프레임워크를 제시함. 이는 $ f $ 가 전역적으로 매끄럽지 않아도 경계가 가능함을 보여줌.
• 핵심 응용 사례에 프레임워크를 적용함: 경험적 평균 추정의 편향, 열역학적 일의 변동성, 변분 추론. 이는 모멘트 기반 경계가 점근 수렴 속도를 어떻게 제공하는지 보여줌.

실험 결과

연구 질문

• RQ1 함수 $ f $ 의 성장 행동과 분포의 모멘트만을 이용하여 젠센 갭을 어떻게 경계할 수 있는가?
• RQ2 평균 주변에 집중된 분포(예: i.i.d. 변수의 표본 평균 또는 통계역학에서 큰 시스템)에 대해 젠센 갭의 점근적 행동은 어떠한가?
• RQ3 리프시츠 조건이나 이차 조건에 의존하는 것보다 고차 모멘트와 일반화된 호일더 조건을 통합함으로써 더 날카운 경계를 유도할 수 있는가?
• RQ4 비연속적이거나 꼬리가 두꺼운 함수에 대해서도 기존 경계와 비교해 볼 때 제안된 경계의 날카움과 적용 가능성은 어떠한가?
• RQ5 이 경계들은 머신러닝, 통계적 추론, 통계역학에서 오차 추정을 어떻게 향상시킬 수 있는가?

주요 결과

• 함수 $ f $ 가 $ \alpha $-홀더 연속일 경우 상한 $ \left| \mathbb{E}[f(X)] - f(\mathbb{E}[X]) \right| \leq M \cdot \sigma_\alpha^\alpha $ 이 도출됨. 여기서 $ \sigma_\alpha $ 는 $ \alpha $-번째 절대 중심 모멘트임.
• 적절한 성장 조건 하에서 하한 $ \left| \mathbb{E}[f(X)] - f(\mathbb{E}[X]) \right| \geq M \cdot \sigma_\alpha^\alpha $ 이 확립됨. 이는 $ t(x) $ 의 쌍대 구성에 기반함.
• 경계가 평균에 집중된 분포(예: i.i.d. 변수의 경험적 평균)에 대해 점근적으로 날카로움을 입증함. 갭은 $ N $ 개의 표본에 대해 $ O(N^{-\alpha/2}) $ 의 속도로 감소함.
• 가중치 합으로 된 모멘트로 일반화된 프레임워크는 상한이 $ \mathcal{J} \leq \sup \frac{f(x)}{t(x)} \cdot \sum a_\eta \sigma_\eta^\eta $ 의 형태를 취함으로써 개선된 근사가 가능함.
• 하한의 경우 $ \mathcal{J} \geq \inf \frac{f(x)}{t(x)} \cdot \frac{\sigma_{\alpha/2}^\alpha}{\sum a_\eta \sigma_{\alpha - \eta}^{\alpha - \eta}} $ 를 도출함. 다항 조합의 조화 평균으로의 확장도 가능함.
• 핵심 응용 사례에서 결과가 검증됨: $ f(\bar{X}) $ 가 $ \mathbb{E}[f(X)] $ 의 추정기로 사용될 때의 편향, 열역학적 일의 변동성, 변분 추론. 이는 오차 추정에 실용적 유용성을 보여줌.