[論文レビュー] Compressive Classification of a Mixture of Gaussians: Analysis, Designs and Geometrical Interpretation

Hugo Reboredo, Francesco Renna+2 more|arXiv (Cornell University)|Jan 27, 2014

Sparse and Compressive Sensing Techniques参考文献 35被引用数 14

ひとこと要約

本稿は、ガウス混合モデルの圧縮分類を、誤分類確率のバタチャリ距離に基づく上界を用いて分析し、通信分野における符号化ゲインとダイバーシティの双対概念としてのダイバーシティ・オーダーと測定ゲインの概念を導入する。最適化された測定設計が、特に低ノイズ領域において、ランダム射影を上回る性能を示すことが示され、2クラスおよび多クラス問題における正確な性能限界が導出される。

ABSTRACT

This paper derives fundamental limits on the performance of compressive classification when the source is a mixture of Gaussians. It provides an asymptotic analysis of a Bhattacharya based upper bound on the misclassification probability for the optimal Maximum-A-Posteriori (MAP) classifier that depends on quantities that are dual to the concepts of diversity-order and coding gain in multi-antenna communications. The diversity-order of the measurement system determines the rate at which the probability of misclassification decays with signal-to-noise ratio (SNR) in the low-noise regime. The counterpart of coding gain is the measurement gain which determines the power offset of the probability of misclassification in the low-noise regime. These two quantities make it possible to quantify differences in misclassification probability between random measurement and (diversity-order) optimized measurement. Results are presented for two-class classification problems first with zero-mean Gaussians then with nonzero-mean Gaussians, and finally for multiple-class Gaussian classification problems. The behavior of misclassification probability is revealed to be intimately related to certain fundamental geometric quantities determined by the measurement system, the source and their interplay. Numerical results, representative of compressive classification of a mixture of Gaussians, demonstrate alignment of the actual misclassification probability with the Bhattacharya based upper bound. The connection between the misclassification performance and the alignment between source and measurement geometry may be used to guide the design of dictionaries for compressive classification.

研究の動機と目的

• ソースがガウス混合モデルである場合の圧縮分類の根本的性能限界を確立すること。
• 圧縮測定における最適MAP分類器の誤分類確率を、バタチャリ距離に基づく上界を用いて分析すること。
• 分類性能を決定づける要因としてのダイバーシティ・オーダーと測定ゲインの役割を特定および定量化すること。
• 誤分類性能の観点から、ランダム測定設計と最適化された測定システムを比較すること。
• 低ノイズ領域における測定システム設計が分類精度に与える影響について、幾何的および解析的洞察を提供すること。

提案手法

• ガウス混合モデルに対して、バタチャリ距離を用いた誤分類確率の漸近的上界を導出する。
• 2つの主要な性能指標を導入する：ダイバーシティ・オーダー（SNRにおける減衰速度）と測定ゲイン（低SNR領域におけるパワー・オフセット）。
• ランダム行列理論と固有値解析を用いて、測定行列がソースの共分散および平均差分とどのように関係するかを特徴付ける。
• 線形計画法の緩和と分枝限定法を用いて、ダイバーシティ・オーダーを最大化する最適測定設計を求解する。
• 理論的性能限界に達するため、ソース固有の部分空間から行を選択して測定行列を構築する。
• 無限大のダイバーシティ・オーダーが達成可能な条件を分析する。特に、平均差分ベクトルが共分散の和の像の外にある場合に注目する。

実験結果

リサーチクエスチョン

• RQ1 ガウス混合モデルにおいて、圧縮測定下での最適MAP分類器の誤分類確率はどのように振る舞うか？
• RQ2 圧縮分類における根本的性能限界は何か？ また、測定システムとソースの幾何構造にどのように依存するか？
• RQ3 MIMOにおける符号化概念の双対概念たるダイバーシティ・オーダーと測定ゲインは、圧縮分類の性能をどのように特徴づけるか？
• RQ4 最適化された測定設計は、誤分類確率の観点でランダム射影を上回ることができるか？ どのような条件下で可能か？
• RQ5 どのような幾何的条件下で、ガウス混合モデルの圧縮分類において無限大のダイバーシティ・オーダーが達成可能か？

主な発見

• 誤分類確率はSNRとともに指数関数的に減少し、ダイバーシティ・オーダーが減衰速度を、測定ゲインがパワー・オフセットを決定づける。
• 最適化された測定設計は、$ \frac{1}{4}M $ の最大ダイバーシティ・オーダーを達成する。ここで $ M $ は測定数であり、これはランダム射影を著しく上回る性能を示す。
• ゼロ平均ガウス分布の場合、最適測定設計は $ r_1 + r_2 = r_{12} = M $ を満たす。ここで $ r_1, r_2 $ は射影された共分散行列のランクを表す。
• 平均差分ベクトル $ \boldsymbol{\mu}_1 - \boldsymbol{\mu}_2 $ が $ \mathbf{\Sigma}_1 + \mathbf{\Sigma}_2 $ の像の外にある場合、$ \mathbf{\Sigma}_1 + \mathbf{\Sigma}_2 $ の核空間に一致する測定カーネルを用いることで、無限大のダイバーシティ・オーダーが達成可能である。
• 誤分類確率の上界は、実測結果とよく一致しており、さまざまな信号対雑音比において理論的分析の妥当性が裏付けられる。
• ソース（平均および共分散）と測定システムとの間の幾何的整合性が極めて重要である。最適設計は、誤分類を最小限に抑えるために、この整合性を最大化する。