[論文レビュー] On the symmetrical Kullback-Leibler Jeffreys centroids

Frank Nielsen|arXiv (Cornell University)|Mar 29, 2013

Advanced Statistical Methods and Models参考文献 19被引用数 7

ひとこと要約

本稿では、ラムベルトW関数を用いた正のヒストグラムのジェフリーズ重心の閉形式解析的解を提示し、この解を正規化することで、周波数ヒストグラムのジェフリーズ重心に対するタイトで保証された近似が得られることを示している。この手法により、対称ダイバージェンスを用いた効率的かつ正確なk-meansクラスタリングが可能となり、文書分類やオブジェクト分類タスクにおける従来手法を上回る性能を発揮する。

ABSTRACT

Due to the success of the bag-of-word modeling paradigm, clustering histograms has become an important ingredient of modern information processing. Clustering histograms can be performed using the celebrated $k$-means centroid-based algorithm. From the viewpoint of applications, it is usually required to deal with symmetric distances. In this letter, we consider the Jeffreys divergence that symmetrizes the Kullback-Leibler divergence, and investigate the computation of Jeffreys centroids. We first prove that the Jeffreys centroid can be expressed analytically using the Lambert $W$ function for positive histograms. We then show how to obtain a fast guaranteed approximation when dealing with frequency histograms. Finally, we conclude with some remarks on the $k$-means histogram clustering.

研究の動機と目的

• テキストや画像分類のbag-of-wordsモデリングにおいて、特にヒストグラムクラスタリングにおける対称ダイバージェンスの必要性に対処すること。
• 正の頻度ヒストグラムの集合に対するジェフリーズ重心（対称化Kullback-Leiblerダイバージェンスの最小化器）を計算すること。
• ラムベルトW関数を用いて、正のヒストグラムのジェフリーズ重心の閉形式解を提供すること。
• 正の重心を正規化することで、真の周波数重心に対する証明可能にタイトな近似が得られることを示すこと。
• 正確な重心計算を高速で保証された近似に置き換えることで、ジェフリーズダイバージェンスを用いた効率的なk-meansクラスタリングを可能にすること。

提案手法

• ラムベルトW関数を用いて、正のヒストグラムのジェフリーズ重心の解析的形を導出し、ジェフリーズダイバージェンスの和の最小化問題を解く。
• 周波数重心の近似を計算するための固定点反復アルゴリズムを提案し、ラムベルトW関数を含む閉形式式を用いてビン値を更新する。
• 正規化に基づく近似を導入：正規化された正の重心は、真の周波数重心に対する保証された上界近似として機能する。
• 収束保証付きの固定点反復スキームを採用し、以下の式を用いて重心推定値を更新する：$ \tilde{c}^{i}_{l} = \frac{\tilde{a}^{i}}{W\left(\frac{\tilde{a}^{i}e^{\lambda_{l-1}+1}}{\tilde{g}^{i}}\right)} $ および $ \lambda_{l} = -\mathrm{KL}(\tilde{c}_{l}:\tilde{g}) $。
• 高精度算術とRによる実装を用いた数値実験により、収束速度と精度を検証した。
• 固定点法とバイセクションサーチを比較し、固定点法が平均5〜7回の反復で収束するのに対し、二重精度での収束には約52回の反復が必要であることが示された。

実験結果

リサーチクエスチョン

• RQ1 正のヒストグラムのジェフリーズ重心は、特殊関数を用いて閉形式で表現可能か？
• RQ2 正のジェフリーズ重心を正規化することで、周波数ジェフリーズ重心に対する証明可能に正確な近似が得られるか？
• RQ3 固定点反復スキームの収束速度は、従来のバイセクションサーチに比べてどのように異なるか？
• RQ4 実世界および合成データにおいて、正規化された正の重心と真の周波数重心との間の経験的性能差はどの程度か？
• RQ5 閉形式の正規化された重心は、ジェフリーズダイバージェンスを用いたk-meansクラスタリングに実効的に利用可能か？

主な発見

• 正のヒストグラムのジェフリーズ重心は、ラムベルトW関数を用いて閉形式で表現可能であり、正確かつ効率的な計算が可能となる。
• 正のジェフリーズ重心を正規化することで、周波数ジェフリーズ重心に対する保証された近似が得られ、合成二値ヒストグラムの実験では最悪ケース性能比 $ \alpha_{\text{max}} \sim 1.00181506 $ が達成された。
• 正規化された正の重心は平均比 $ \bar{\alpha} \sim 1.0000009 $ を達成し、真の周波数重心とほぼ同一の性能を示す。
• 固定点反復スキームは平均5〜7回の反復で収束し、二重精度での収束に約52回の反復を要するバイセクションサーチに比べて顕著に優れている。
• ジェフリーズダイバージェンスを用いた変分k-meansアルゴリズムにおいて、近似重心であっても収束が保証される。
• Caltech-256を用いた経験的評価では、正規化された正の重心が真の周波数重心と平均ジェフリーズダイバージェンスの観点でほぼ同一の性能を示した。