[論文レビュー] Simultaneous penalized M-estimation of covariance matrices using geodesically convex optimization

Esa Ollila, Ilya Soloveychik+2 more|arXiv (Cornell University)|Aug 29, 2016

Advanced Statistical Methods and Models参考文献 28被引用数 23

ひとこと要約

本稿では、標本数が次元数に比べて小さい状況下で、K個の共分散行列を同時に推定するための2つの測地線的凸性に基づく罰則付きM推定量の手法を提案する。各共分散行列が共通の中心に近いという仮定の下で、測地線的凸性を活用することで、ユークリッド距離、リーマン距離、およびカルバック・ライブラー距離に基づく罰則を用いて、一意で頑健な解が保証される。正則化判別分析への応用において、古典的手法を上回る性能が示された。

ABSTRACT

A common assumption when sampling $p$-dimensional observations from $K$ distinct group is the equality of the covariance matrices. In this paper, we propose two penalized $M$-estimation approaches for the estimation of the covariance or scatter matrices under the broader assumption that they may simply be close to each other, and hence roughly deviate from some positive definite "center". The first approach begins by generating a pooled $M$-estimator of scatter based on all the data, followed by a penalised $M$-estimator of scatter for each group, with the penalty term chosen so that the individual scatter matrices are shrunk towards the pooled scatter matrix. In the second approach, we minimize the sum of the individual group $M$-estimation cost functions together with an additive joint penalty term which enforces some similarity between the individual scatter estimators, i.e. shrinkage towards a mutual center. In both approaches, we utilize the concept of geodesic convexity to prove the existence and uniqueness of the penalized solution under general conditions. We consider three specific penalty functions based on the Euclidean, the Riemannian, and the Kullback-Leibler distances. In the second approach, the distance based penalties are shown to lead to estimators of the mutual center that are related to the arithmetic, the Riemannian and the harmonic means of positive definite matrices, respectively. A penalty based on an ellipticity measure is also considered which is particularly useful for shape matrix estimators. Fixed point equations are derived for each penalty function and the benefits of the estimators are illustrated in regularized discriminant analysis problem.

研究の動機と目的

• 標本サイズが次元数に比べて小さい状況下で、複数の高次元共分散行列を推定する課題に対処すること。
• グループの共分散行列が等しくはなくてもよいが類似しているという事前知識を組み込み、それらを共通の中心に収縮させること。
• 外れ値や重さの長い分布に対して頑健で、正規分布仮定に依存しない推定手法を開発すること。
• 正定値行列の多様体上での測地線的凸性（g-convexity）を用いて、罰則付きM推定量の存在と一意性を保証すること。
• 古典的な標本共分散行列に代えて、頑健で収縮に基づく推定量を用いることで、正則化判別分析を拡張すること。

提案手法

• 2段階アプローチを提案：まずすべてのデータからプールされたM推定量を計算し、次に個々のグループのM推定量をそのプール推定量に測地線的凸性に基づく罰則で収縮させる。
• 個々のM推定損失関数の和に加え、グループの散乱行列同士の類似性を強制する共通の罰則を最小化する統合最適化フレームワークを導入する。
• 正定値行列のリーマン多様体上での測地線的凸性（g-convexity）を用いて、最適化問題の凸性を保証する。
• 3種類の罰則関数を採用：ユークリッド距離、リーマン距離、カルバック・ライブラー距離。それぞれが異なる種類の行列平均（算術平均、幾何平均、調和平均）に対応する。
• 各罰則タイプに対して固定点反復アルゴリズムを導出し、罰則付き推定量の数値計算を可能にする。
• 特に頑健統計における形状行列推定に有用な楕円度測度に基づく追加の罰則を検討する。

実験結果

リサーチクエスチョン

• RQ1 外れ値や重い尾を持つ分布に頑健なM推定量として、複数の共分散行列を同時に推定する際、解の一意性と安定性を保証できるか？
• RQ2 正定値行列の多様体上での測地線的凸性をどのように活用し、非凸なM推定問題を凸問題に変換できるか？
• RQ3 個々のグループの散乱行列を共通の中心に収縮させる罰則付きM推定量の統計的・計算的性質は何か？
• RQ4 ユークリッド距離、リーマン距離、KL距離に基づく異なる罰則が、結果として得られる推定量に及ぼす影響と、それらが行列平均としてどのように解釈できるかは？
• RQ5 提案された頑健な収縮推定量は、古典的手法に比べて正則化判別分析の性能をどの程度向上させるか？

主な発見

• 提案手法は、測地線的凸性のおかげで、一般条件のもとで解の存在と一意性が保証される。
• カルバック・ライブラー距離に基づく罰則は、正定値行列の調和平均に対応する解をもたらす。
• リーマン距離に基づく罰則は、散乱行列の幾何平均（リーマン平均）をもたらし、共分散推定において良好な性質を示すことが知られている。
• ユークリッド距離に基づく罰則は、行列の算術平均に等価な解をもたらすが、一部の状況では頑健性に欠ける。
• 各罰則タイプに対して導出した固定点反復アルゴリズムは、一意の最小化点に収束し、実用的な実装を可能にする。
• 正則化判別分析における実験的結果から、特に非正規分布や重い尾を持つデータにおいて、古典的手法に比べて分類精度と頑健性が向上していることが示された。