[論文レビュー] Gaussian Mixture Reduction Using Reverse Kullback-Leibler Divergence

Tohid Ardeshiri, Umut Orguner+1 more|arXiv (Cornell University)|Aug 22, 2015

Advanced Data Compression Techniques被引用数 6

ひとこと要約

本稿では、逆Kullback-Leibler発散（RKLD）を用いた新規なガウス・ミックスチャージャー削減アルゴリズムを提案し、元のミックスチャージャーのピーク構造を保持するための、成分の削除とマージの両方を可能にする。RKLDの計算的非可解性を克服するための解析的近似を導出することで、計算複雑度（$ olimits cal{O}(N^2)$）を低減し、ランダルズのフォワード-KLDに基づく手法と比較して、顕著な成分の保持性能が優れている。

ABSTRACT

We propose a greedy mixture reduction algorithm which is capable of pruning mixture components as well as merging them based on the Kullback-Leibler divergence (KLD). The algorithm is distinct from the well-known Runnalls' KLD based method since it is not restricted to merging operations. The capability of pruning (in addition to merging) gives the algorithm the ability of preserving the peaks of the original mixture during the reduction. Analytical approximations are derived to circumvent the computational intractability of the KLD which results in a computationally efficient method. The proposed algorithm is compared with Runnalls' and Williams' methods in two numerical examples, using both simulated and real world data. The results indicate that the performance and computational complexity of the proposed approach make it an efficient alternative to existing mixture reduction methods.

研究の動機と目的

• 既存のミックスチャージャー削減手法がマージのみを可能としており、元のミックスチャージャーにおける明確なピークが消失するという限界を是正すること。
• 逆KLDを発散測度として用いることで、ガウス・ミックスチャージャー・モデル（GMM）をグリーディにかつ計算的に効率的に削減するアルゴリズムの開発。
• ガウス・ミックスチャージャー間のRKLDの解析的非可解性を、実用的な近似によって克服すること。
• シミュレートされた環境および実世界のトラッキングシナリオにおいて、ランダルズの手法やウィリアムズの手法といった標準的手法と、複数の数値例を用いて本手法の評価を行うこと。

提案手法

• アルゴリズムは、近似ミックスチャージャーから元のミックスチャージャーへの発散を最小化する目的関数として、逆KLD（RKLD）を用い、削除とマージの両操作を可能にする。
• 数値積分を回避し、計算コストを削減するため、ガウス・ミックスチャージャー間のRKLDに対する解析的近似を導出する。
• 各削減ステップにおいて、近似されたRKLDを用いてすべての可能な削除およびマージ操作を評価し、発散が最小となる操作を選択する。
• 本手法は、グリーディな反復処理として実装されており、希望の成分数に達するまで毎ステップで1つの成分を削減する。
• 近似技術は、RKLD式における対数項の期待値を、モーメントマッチングおよびガウス成分の性質を用いて簡略化することで実現する。
• 本手法は、合成データおよび実世界のデータを用いた複数の数値例において、ランダルズの（FKLDに基づく）およびウィリアムズの（ISEに基づく）手法と比較される。

実験結果

リサーチクエスチョン

• RQ1 逆KLDに基づく削減アルゴリズムは、フォワード-KLDに基づく手法と比較して、元のミックスチャージャーのピークをより良く保持できるか？
• RQ2 削減プロセスに削除操作を組み込むことで、削減されたミックスチャージャーの忠実度はどのように変化するか？
• RQ3 ガウス・ミックスチャージャー間の逆KLDの計算を実行可能かつ効率的に行うために、どのような解析的近似が有効か？
• RQ4 本手法は、ランダルズおよびウィリアムズのアルゴリズムと比較して、性能および計算複雑度の面で優れているか？
• RQ5 不正な点で汚染されたデータに適用した場合、本手法は元のクラスタ構造をより良く維持できるか？

主な発見

• 提案手法であるARKLは、低重み成分の削除を許容することで、元のミックスチャージャーのピークを効果的に保持している。これに対してランダルズの手法はマージのみを許容しており、ピークの消失が生じる。
• 6成分のシミュレーション例において、ARKLはランダルズおよびウィリアムズの手法を上回り、特に元のミックスチャージャーの明確なピークを保持する点で優れた性能を示した。
• 15成分の実世界のトラッキング例では、ARKLはほとんどすべての不正なクラスタを削除し、関連のある成分のみをマージすることで、より明確で正確な表現を得た。
• ARKLの計算複雑度は$\mathcal{O}(N^2)$であり、ランダルズの手法と同等で大規模なミックスチャージャーに対してもスケーラブルである。一方、ウィリアムズの手法は$\mathcal{O}(N^4)$の複雑度を示す。
• すべてのテスト環境において、ARKLはランダルズおよびウィリアムズの手法よりも低いRKLD値を達成しており、元のミックスチャージャーからの発散を最小化する有効性が確認された。
• RKLDに対する解析的近似は、正確性を損なわず計算時間を顕著に短縮し、トラッキングおよびフィルタリングシステムにおけるリアルタイム適用を可能にした。