[論文レビュー] Bounds on the Jensen Gap, and Implications for Mean-Concentrated Distributions

Xiang Gao, Meera Sitharam+1 more|arXiv (Cornell University)|Dec 11, 2017

Mathematical Inequalities and Applications参考文献 20被引用数 39

ひとこと要約

本稿では、関数の成長性と分布のモーメントを用いて、確率的変数の関数の期待値と期待値の関数の差であるジェンセンギャップに対する、新たな上界および下界を確立する。これらの境界は、標本平均や統計力学における大規模系のように平均に集中する分布に対して特に有効であり、推定のバイアスや熱力学的量の揺らぎの漸近的推定を高精度で行うことができる。

ABSTRACT

This paper gives upper and lower bounds on the gap in Jensen's inequality, i.e., the difference between the expected value of a function of a random variable and the value of the function at the expected value of the random variable. The bounds depend only on growth properties of the function and specific moments of the random variable. The bounds are particularly useful for distributions that are concentrated around the mean, a commonly occurring scenario such as the average of i.i.d. samples and in statistical mechanics.

研究の動機と目的

• 関数の成長性と分布のモーメントにのみ依存する、計算可能なジェンセンギャップの上界および下界を導出すること。
• 確率的変数がその平均のまわりに集中する状況（例：経験的平均や統計力学における大規模系）において、ジェンセンギャップを推定する課題に対処すること。
• 特に $ \mathbb{E}[f(X)] $ が計算不能な場合に $ f(\mathbb{E}[X]) $ を $ \mathbb{E}[f(X)] $ の代理として使用する推定器のバイアスを制限する一般枠組みを提供すること。
• 既存の境界を拡張し、関数 $ f $ に対して高次モーメントと一般化されたホルダー型条件を組み込むことで、実用的応用における精度を向上させること。
• 変分推論、確率的最適化、熱力学的揺らぎ解析において、誤差推定を改善するために、ジェンセンギャップを測定可能なモーメント量と結びつけること。

提案手法

• 上界を導出する際、$ f(x) - f(\mu) $ を $ s(x) \cdot t(x) $ の積として表現し、$ s(x) $ を有界かつ $ t(x) $ をモーメントの観点で可積分なものとする。
• $ f $ が $ \alpha $-ホルダー連続であることを用いて、ジェンセンギャップを $ M \cdot \sigma_\alpha^\alpha $ で上界付ける。ここで $ \sigma_\alpha $ は $ \alpha $ 階の絶対中心モーメントである。
• 下界を確立するため、$ f(x)/t(x) $ が0から離れているように関数 $ t(x) $ を構築し、ギャップを $ \sigma_\alpha^\alpha $ またはモーメントの組み合わせと関連付ける。
• 重み付きモーメント和を用いて境界を一般化する：上界には $ \sum a_\eta \sigma_\eta^\eta $ を使用、下界には $ \sigma_\eta^{\eta} $ を適切に正規化した逆形式を用いる。
• 関数 $ f $ が凸または凹であり、$ f' $ の成長が制御可能である場合に一般化し、$ f $ が局所的に滑らかでない場合でも境界が得られることを示す。
• 代表的な応用事例に適用する：経験的平均推定のバイアス、熱力学的仕事の揺らぎ、変分推論。モーメントに基づく境界が漸近的収束速度をどのように得るかを示す。

実験結果

リサーチクエスチョン

• RQ1 関数 $ f $ の成長性と分布のモーメントのみを用いて、ジェンセンギャップをどのように境界付けることができるか？
• RQ2 標本平均や統計力学における大規模系のように平均に集中する分布に対して、ジェンセンギャップの漸近的挙動はいかなるものか？
• RQ3 リプシッツ連続性や二次関数的仮定に依存せず、高次モーメントと一般化されたホルダー条件を組み込むことで、より鋭い境界を得られるか？
• RQ4 滑らかでない関数や裾が重い分布に対して、既存の境界と比較して、提案された境界の鋭さと適用範囲はどのように異なるか？
• RQ5 これらの境界は、機械学習、統計的推論、統計力学における誤差推定をどのように改善できるか？

主な発見

• 本稿では、$ \alpha $-ホルダー連続な $ f $ に対して、上界 $ \left| \mathbb{E}[f(X)] - f(\mathbb{E}[X]) \right| \leq M \cdot \sigma_\alpha^\alpha $ を導出する。ここで $ \sigma_\alpha $ は $ \alpha $ 階の絶対中心モーメントである。
• 適切な成長条件の下で、下界 $ \left| \mathbb{E}[f(X)] - f(\mathbb{E}[X]) \right| \geq M \cdot \sigma_\alpha^\alpha $ を、$ t(x) $ の双対的構築を用いて確立する。
• 平均に集中する分布（例：i.i.d. 変数の標本平均）に対して、境界が漸近的に鋭くなることが示され、ギャップは $ N $ 個の標本に対して $ O(N^{-\alpha/2}) $ の速度で減少する。
• 重み付きモーメント和への一般化により、上界は $ \mathcal{J} \leq \sup \frac{f(x)}{t(x)} \cdot \sum a_\eta \sigma_\eta^\eta $ の形を取り、近似精度の向上が可能になる。
• 下界に関しては、$ \mathcal{J} \geq \inf \frac{f(x)}{t(x)} \cdot \frac{\sigma_{\alpha/2}^\alpha}{\sum a_\eta \sigma_{\alpha - \eta}^{\alpha - \eta}} $ を得る。さらに、複数項の調和平均への拡張も可能である。
• 主要な応用事例で妥当性を検証した：$ \mathbb{E}[f(X)] $ を推定する際の $ f(\bar{X}) $ のバイアス、熱力学的仕事の揺らぎ、変分推論。これらの応用において、誤差推定の実用的有効性が示された。