[論文レビュー] Log-Determinant Divergences Revisited: Alpha--Beta and Gamma Log-Det Divergences

Andrzej Cichocki, Sergio Cruces+1 more|arXiv (Cornell University)|Dec 18, 2014

Statistical Mechanics and Entropy参考文献 1被引用数 5

ひとこと要約

本稿では、対称正定値（SPD）行列に対するパラメータ化されたアルファ-ベータおよびガンマ・ログデターミナント（log-det）損失を導入し、スティーンの損失、S-損失（JBLD）、AIRM、ジェフリー・KL損失といったよく知られた損失を統一・拡張する。このフレームワークにより、ノイズが多い状況でも頑健な類似性測定が可能となり、多次元（テンソル構造）の共分散行列への一般化も可能となる。

ABSTRACT

In this paper, we review and extend a family of log-det divergences for symmetric positive definite (SPD) matrices and discuss their fundamental properties. We show how to generate from parameterized Alpha-Beta (AB) and Gamma Log-det divergences many well known divergences, for example, the Stein's loss, S-divergence, called also Jensen-Bregman LogDet (JBLD) divergence, the Logdet Zero (Bhattacharryya) divergence, Affine Invariant Riemannian Metric (AIRM) as well as some new divergences. Moreover, we establish links and correspondences among many log-det divergences and display them on alpha-beta plain for various set of parameters. Furthermore, this paper bridges these divergences and shows also their links to divergences of multivariate and multiway Gaussian distributions. Closed form formulas are derived for gamma divergences of two multivariate Gaussian densities including as special cases the Kullback-Leibler, Bhattacharryya, Rényi and Cauchy-Schwartz divergences. Symmetrized versions of the log-det divergences are also discussed and reviewed. A class of divergences is extended to multiway divergences for separable covariance (precision) matrices.

研究の動機と目的

• 対称正定値（SPD）行列に対する広範なログデターミナント損失のクラスを統一・拡張すること。
• スティーンの損失、S-損失、AIRM、ジェフリー・KL損失といったよく知られた損失の間の理論的関係を確立すること。
• 実用的応用におけるノイズおよび外れ値に対して頑健性を向上させるパラメータ化された損失（アルファ-ベータおよびガンマ）を開発すること。
• 多次元（テンソル）構造への一般化を図り、多次元正規分布における分離可能な共分散行列に適応すること。
• 多次元ガウス分布間の損失に対する閉形式の表現を提供すること。これには、カルバック・ライバラー、バタチャリヤ、リーニー損失が含まれる。

提案手法

• パラメータ α と β を調整することで、既存の損失を一般化するパラメータ化されたアルファ-ベータ（AB）およびガンマ・ログデターミナント損失の族を提案する。
• 多次元ガウス分布間のガンマ損失に対して閉形式の表現を導出する。これにより、既知の損失が特殊ケースとして回復される。
• SPD行列の行列対数、トレース、行列式を用いて、損失の幾何学的および代数的関係を確立する。
• テンソル積の性質を応用して、損失を多次元構造へ拡張し、多次元正規分布における分離可能な共分散行列をモデル化する。
• 行列式正規化制約下で、多次元スティーンの損失および多次元リーマン計量を導出する。
• 固有値分解および行列関数の性質（例：log(P^α) = V log(Λ^α) V^T）を用いて、解析的表現および不変性の性質を導出する。

実験結果

リサーチクエスチョン

• RQ1 多様なログデターミナント損失をSPD行列に対して統一するフレームワークをどのように構築できるか。
• RQ2 S-損失、AIRM、スティーンの損失といったよく知られた損失の間の理論的関係および対応関係は何か。
• RQ3 アルファ-ベータおよびガンマ・ログデターミナント損失は、既存の損失をどのように一般化し、ノイズおよび外れ値に対して頑健性を向上させるか。
• RQ4 これらの損失は、多次元（テンソル）構造への拡張が可能か。特に多次元正規分布においては。
• RQ5 多次元ガウス分布間のガンマ損失に対する閉形式の表現は何か。また、それらは既知の損失をどのように回復するか。

主な発見

• アルファ-ベータ・ログデターミナント損失族は、特定の α と β の値に対して、スティーンの損失、S-損失（JBLD）、AIRM、ジェフリー・KL損失を特殊ケースとして含む。
• ガンマ損失は、多次元ガウス分布間の損失に対して閉形式の表現を提供し、カルバック・ライバラー、バタチャリヤ、リーニー、カウチ-シュバルツ損失を含む既知の損失を回復する。
• テンソル積の性質を用いて、分離可能な共分散行列に対する多次元損失を導出する。これにより、多次元データ解析への応用が可能になる。
• 多次元ヒルベルト計量および多次元スティーンの損失は、多次元変換に対して不変性を持つように定式化され、頑健性が向上する。
• ログデターミナント損失の対称化版をレビューし、対称的な類似性推定において性能向上が示された。
• 行列式正規化（det(P_k) = det(Q_k) = 1）の下では、多次元リーマン計量および多次元スティーンの損失が簡略化され、幾何学的整合性を維持する。