[論文レビュー] On a Difference of Jensen Inequality and its Applications to Mean Divergence Measures

Inder J. Taneja|ArXiv.org|Jan 19, 2005

Mathematical Inequalities and Applications参考文献 15被引用数 17

ひとこと要約

本稿では、導関数と区間制約を用いてタイトな境界を確立することで、凸関数に対するJensenの不等式の差分に関する新規な表現を導入する。このフレームワークを用いて、算術平均、幾何平均、調和平均といった古典的平均のための新しい不等式を導出し、Csiszárのf-発散に基づく新たな発散測度を定義する。主な結果として、これらの測度の間の階層的関係が示され、たとえば $ \frac{1}{16}\Delta(P||Q) \leq \frac{1}{4}I(P||Q) \leq M_{N_2N_1}(P||Q) \leq \frac{1}{3}M_{N_2G}(P||Q) \leq \frac{1}{4}h(P||Q) \leq M_{AN_2}(P||Q) \leq \frac{1}{32}J(P||Q) \leq \frac{1}{4}T(P||Q) $ のような不等式が得られる。本研究は、平均に基づく発散を用いた確率分布の比較に統一的な解析的ツールを提供する。

ABSTRACT

In this paper we have considered a difference of Jensen's inequality for convex functions and proved some of its properties. In particular, we have obtained results for Csiszár \cite{csi1} $f-$divergence. A result is established that allow us to compare two measures under certain conditions. By the application of this result we have obtained a new inequality for the well known means such as arithmetic, geometric and harmonic. Some divergence measures based on these means are also defined.

研究の動機と目的

• 凸関数に対するJensenの不等式の差分を定式化・分析すること、定義は $ F_f(\lambda,X) = \sum \lambda_i f(x_i) - f(\sum \lambda_i x_i) $ である。
• 変数の区間制約と1階微分を用いて、このJensen差分のタイトな上界を導出すること。
• 境界をCsiszárのf-発散フレームワークに適用し、凸性のもとでの確率分布の比較を可能にすること。
• 古典的平均（算術、幾何、調和）に基づく新たな発散測度を定義・分析すること。
• 発散測度の間の階層的関係を確立し、定量的な不等式を示すこと。たとえば $ \frac{1}{16}\Delta \leq \frac{1}{4}I \leq M_{N_2N_1} \leq \cdots \leq \frac{1}{4}T $ である。

提案手法

• Jensen差分 $ F_f(\lambda,X) $ を、関数値の重み付き平均と重み付き平均の関数値との差として定義する。
• 定理1を用いて、$ F_f(\lambda,X) $ を微分に基づく表現 $ L_f(\lambda,X) $ と、区間依存の最大値 $ Z_f(\eta_1,\eta_2) $ で有界化する。
• 対象となる凸関数 $ f_s(x) $（対数関数的および累乗型の形を含む）にこの境界を適用し、平均に基づく発散を導出する。
• 発散測度 $ I_s(P||Q) $, $ I_0(P||Q) $, $ I(P||Q) $, $ T(P||Q) $ を構築し、それらを算術平均、幾何平均、調和平均に関連付ける。
• 発散測度の比較には、生成関数の2階微分の比 $ g_{f_1/f_2}(x) $ を用い、単調性を証明することで上界を求める。これによりスケーリング不等式を導出する。
• 微分比の上界を用いて、発散間のタイトな定数倍不等式を確立する。たとえば $ M_{N_2N_1} \leq \frac{1}{3}M_{N_2G} $ のような関係である。

実験結果

リサーチクエスチョン

• RQ1 1階微分と変数の区間制約を用いて、Jensenの不等式の差分をどのように有界化できるか？
• RQ2 有界な定義域を持つ凸関数に対して、Jensen差分の最もタイトな上界は何か？
• RQ3 Jensen差分のフレームワークを用いて、古典的平均に基づく新たな発散測度をどのように導出できるか？
• RQ4 算術平均、幾何平均、調和平均に基づく発散測度 $ M_{N_2N_1} $, $ M_{N_2G} $, $ M_{AN_2} $, $ h(P||Q) $ の間にはどのような階層的関係があるか？
• RQ5 生成関数の2階微分の比を用いて、発散間の普遍的な定数倍の境界を導出できるか？

主な発見

• Jensen差分 $ F_f(\lambda,X) $ は、$ 0 \leq F_f(\lambda,X) \leq L_f(\lambda,X) \leq Z_f(\eta_1,\eta_2) = \frac{1}{4}(\eta_2 - \eta_1)(f'(\eta_2) - f'(\eta_1)) $ で有界であり、これは鋭い区間依存境界を提供する。
• 関数 $ f_s(x) = \frac{1 - x^s}{s} $ に対して、Jensen差分は算術平均と幾何平均の比に対応し、$ \frac{A(\lambda,X)}{G(\lambda,X)} \leq \exp\left[\frac{(\eta_2 - \eta_1)^2}{4\eta_1\eta_2}\right] $ を得る。
• 関数 $ f_s $ を用いた発散 $ \mathcal{W}_s(P||Q) $ は、$ \mathcal{W}_s(P||Q) \leq \frac{1}{4}\mathcal{V}_s(P||Q) $ を満たし、$ s=0 $ の場合に等号が成立し、Burbea-Rao 発散が得られる。
• 発散 $ M_{N_2N_1}(P||Q) $ は、$ \frac{1}{16}\Delta(P||Q) \leq M_{N_2N_1}(P||Q) \leq \frac{1}{3}M_{N_2G}(P||Q) $ を満たし、定数 $ \frac{1}{3} $ が最適である。
• 発散 $ M_{AN_2}(P||Q) $ は、$ \frac{1}{4}h(P||Q) \leq M_{AN_2}(P||Q) $ を満たし、定数 $ \frac{1}{4} $ が鋭い。
• 完全な発散の階層が確立された：$ \frac{1}{16}\Delta \leq \frac{1}{4}I \leq M_{N_2N_1} \leq \frac{1}{3}M_{N_2G} \leq \frac{1}{4}h \leq M_{AN_2} \leq \frac{1}{32}J \leq \frac{1}{4}T $、すべての定数が最適である。