[論文レビュー] Generalizing Jensen and Bregman divergences with comparative convexity and the statistical Bhattacharyya distances with comparable means

Frank Nielsen, Richard Nock|arXiv (Cornell University)|Feb 16, 2017

Advanced Statistical Methods and Models参考文献 24被引用数 3

ひとこと要約

本稿は、抽象的平均、特に準加法平均に基づく比較凸性を用いて、JensenおよびBregman発散を一般化し、同等の平均を用いたBhattacharyya発散の新たな一般化を導入する。主な貢献は、準加法平均を用いた一般化Bregman発散に対して閉形式の表現を提供することであり、機械学習および統計分野における効率的な計算と応用を可能にする。

ABSTRACT

Comparative convexity is a generalization of convexity relying on abstract notions of means. We define the Jensen divergence and the Jensen diversity from the viewpoint of comparative convexity, and show how to obtain the generalized Bregman divergences as limit cases of skewed Jensen divergences. In particular, we report explicit formula of these generalized Bregman divergences when considering quasi-arithmetic means. Finally, we introduce a generalization of the Bhattacharyya statistical distances based on comparative means using relative convexity.

研究の動機と目的

• 標準の凸性を越えて、抽象的平均に基づく比較凸性の枠組みを導入することで、古典的なJensenおよびBregman発散を一般化すること。
• 準加法平均を用いる場合の一般化Bregman発散に対して閉形式の表現を導出することにより、実用的な計算を可能にすること。
• 特に非自明な構造を持つ統計的分布を対象として、同等の平均を用いたBhattacharyya距離の一般化を試みること。
• 一般化Bhattacharyya距離が同次発散を生成する条件を確立すること。
• これらの一般化発散が機械学習および情報理論分野において、特に誤差境界最適化や統計的推論においてどのように有用であるかを示すこと。

提案手法

• 二つの抽象的平均 M（定義域）および N（値域）を用いた比較凸性に基づき、一般化Jensen発散を定義し、標準の中点凸性を一般化する。
• 歪んだJensen発散の極限として一般化Bregman発散を導出し、歪度と発散の挙動との関係を確立する。
• 生成関数の逆関数を用いて、M および N が準加法平均である場合の一般化Bregman発散に対する閉形式の公式を提供する。
• 確率密度関数または質量関数に適用される平均の対数比として定義される、同等の平均を用いた一般化Bhattacharyya距離を導入する。
• 特に同次平均を用いる場合に、一般化Bhattacharyya距離が同次発散となる条件を確立する。
• Cauchy分布および多変量t分布などの特定の分布族にこの枠組みを適用し、変形指数家族またはべき平均を用いて閉形式の表現を示す。

実験結果

リサーチクエスチョン

• RQ1 JensenおよびBregman発散は、抽象的平均に基づく比較凸性を用いてどのように一般化可能か？
• RQ2 平均が準加法である場合、一般化Bregman発散の閉形式表現は何か？
• RQ3 Bhattacharyya距離は同等の平均へ一般化可能か？ また、どのような条件下で閉形式の表現が得られるか？
• RQ4 一般化発散は同次性の下でどのように振る舞い、統計的学習にどのような影響を及えるか？
• RQ5 一般化Bhattacharyya距離とChernoff情報の間には、誤差確率の境界に関してどのような関係があるか？

主な発見

• 準加法平均を用いた一般化Bregman発散は、閉形式の表現を有しており、効率的な計算および機械学習パイプラインへの統合を可能にする。
• 生成関数による入力空間の埋め込み表現に適用された場合、一般化Bregman発散は標準Bregman発散とコンformal（共形）である。
• 同等の平均を用いた一般化Bhattacharyya距離は、対称的かつ非負の発散であり、離散分布および特定の連続族に対して閉形式で計算可能である。
• Cauchy分布族においては、標準的な (G,A) 平均を用いた場合、一般化Bhattacharyya距離は閉形式で表現できないが、変形指数家族を用いることで適合可能である。
• 同次比較平均を用いる場合、一般化Bhattacharyya距離は同次発散となり、スケール不変性を保つ。
• この枠組みにより、分離可能な凸生成関数に加え、平均を定義する関数自体の学習も可能となり、柔軟でデータ駆動型の発散設計が可能になる。