[論文レビュー] A generalization of the Jensen divergence: The chord gap divergence

Frank Nielsen|arXiv (Cornell University)|Sep 29, 2017

Advanced Statistical Methods and Models参考文献 22被引用数 3

ひとこと要約

本稿では、歪Jensen発散とBhattacharyya発散を一般化する3パラメータ型の一般化発散、すなわち「コードギャップ発散」を導入する。この発散は指数型分布族における統計的不一致のモデル化を改善可能であり、発散のテイラー＝ラグランジュ剰余表現を導出し、収束解析を通じてk-means++クラスタリングの性能が新たな度合いでの競合可能性を示している。

ABSTRACT

We introduce a novel family of distances, called the chord gap divergences, that generalizes the Jensen divergences (also called the Burbea-Rao distances), and study its properties. It follows a generalization of the celebrated statistical Bhattacharyya distance that is frequently met in applications. We report an iterative concave-convex procedure for computing centroids, and analyze the performance of the $k$-means++ clustering with respect to that new dissimilarity measure by introducing the Taylor-Lagrange remainder form of the skew Jensen divergences.

研究の動機と目的

• 歪Jensen発散を、歪Jensen距離およびBhattacharyya距離を特殊ケースとして含む3パラメータ族の発散に一般化すること。
• 凸関数の不等式を用いて、指数型分布族における統計的不一致測度の統一的枠組みを提供すること。
• 柔軟で調整可能な発散度量を導入することで、クラスタリングおよび情報統合の性能を向上させること。
• テイラー＝ラグランジュ剰余表現を用いて、新しい発散におけるk-means++の収束性と性能を分析すること。
• コードギャップ発散の公開Javaソースコードを提供することで、再現可能性の研究を支援すること。

提案手法

• 3パラメータ α, β, γ を用いて、歪Jensen発散の一般化としてコードギャップ発散を提案する。
• 正確な剰余項を伴う2階テイラー展開を用いて、コードギャップ発散のテイラー＝ラグランジュ剰余表現を導出する。
• 極限ケース（α→0 または α→1）において、コードギャップ発散がBregman発散に還元されることを確立する。
• コードギャップ発散下での重心計算のための反復的凸-凹プロシージャを導入する。
• コードギャップ発散を用いてk-means++の性能を分析し、発散下でOρ(log k)の競合可能性が示された。
• コードギャップ発散が、同じ指数型分布族に属する分布に対して、歪Bhattacharyya距離を一般化することを示す。

実験結果

リサーチクエスチョン

• RQ1 Jensen発散を、歪Jensen発散およびBhattacharyya発散を特殊ケースとして含む3パラメータ族に一般化する方法は何か？
• RQ2 正確な剰余項を伴う2階テイラー展開の観点から、コードギャップ発散の解析的構造はどのように表現されるか？
• RQ3 極限ケースにおいて、コードギャップ発散はBregman発散およびKullback-Leibler発散とどのように関係するか？
• RQ4 剰余に基づく誤差バインディングを用いて、コードギャップ発散下でのk-means++の競合可能性を証明できるか？
• RQ5 ヘッセ行列は、コードギャップ発散の曲率を特徴付ける上で果たす役割は何か？

主な発見

• コードギャップ発散は歪Jensen発散を一般化し、同じ指数型分布族に属する分布の場合、Bhattacharyya距離を特別なケースとして含む。
• コードギャップ発散のテイラー＝ラグランジュ剰余表現は、(p−q)⊤H_F^{α,β,γ}(p:q)(p−q) として表現され、ヘッセ行列項は凸包内の中間点に依存する。
• コードギャップ発散の重心は、反復的凸-凹プロシージャにより計算可能であり、厳密に凸関数に対して収束を保証する。
• k-means++アルゴリズムは、コードギャップ発散下でOρ(log k)の競合可能性を示しており、ρはヘッセ行列の固有値特性に基づく条件数である。
• 歪Jensen発散はテイラー＝ラグランジュ剰余表現を次のように持つ：J_F^{(α)}(p:q) = (α(1−α)/2)(p−q)⊤(α∇²F(ξ₁)+(1−α)∇²F(ξ₂))(p−q)。
• 極限 α→0 または α→1 において、コードギャップ発散はそれぞれBregman発散B_F(q:p) または B_F(p:q) に収束し、既知の発散と整合性があることが確認された。