[論文レビュー] Geodesic Convexity and Regularized Scatter Estimators

Lutz Duembgen, David E. Tyler|arXiv (Cornell University)|Jul 19, 2016

Morphological variations and asymmetry参考文献 18被引用数 10

ひとこと要約

この論文は、多変量分散共分散推定のためのきめ細やかなリーマン幾何学的枠組みを確立し、測地的凸性と強制性を導入することで、正則化されたM推定量の存在と一意性を保証する。測地的テイラー展開を用いた部分ニュートン法アルゴリズムを構築し、恒等行列またはそのスカラー倍に収束する罰則関数が測地的凸性を持つ正則化推定量をもたらすことを証明した。最適なチューニングのための交差検証も提案している。

ABSTRACT

As observed by Auderset et al. (2005) and Wiesel (2012), viewing covariance matrices as elements of a Riemannian manifold and using the concept of geodesic convexity provide useful tools for studying M-estimators of multivariate scatter. In this paper, we begin with a mathematically rigorous self-contained overview of Riemannian geometry on the space of symmetric positive definite matrices and of the notion of geodesic convexity. The overview contains both a review as well as new results. In particular, we introduce and utilize first and second order Taylor expansions with respect to geodesic parametrizations. This enables us to give sufficient conditions for a function to be geodesically convex. In addition, we introduce the concept of geodesic coercivity, which is important in establishing the existence of a minimum to a geodesic convex function. We also develop a general partial Newton algorithm for minimizing smooth and strictly geodesically convex functions. We then use these results to generate a fairly complete picture of the existence, uniqueness and computation of regularized M-estimators of scatter defined using additive geodescially convex penalty terms. Various such penalties are demonstrated which shrink an estimator towards the identity matrix or multiples of the identity matrix. Finally, we propose a cross-validation method for choosing the scaling parameter for the penalty function, and illustrate our results using a numerical example.

研究の動機と目的

• 高次元およびスパースなデータ設定下における多変量分散共分散の正則化M推定量に対する理論的保証の不足に対処する。
• 対称正定値行列の多様体上での測地的凸性の数学的厳密な基礎を提供する。
• 測地的凸性と強制性を用いて、正則化M推定量の存在と一意性の十分条件を確立する。
• 滑らかで厳密に測地的凸な関数を、行列多様体上で最小化する一般化された部分ニュートンアルゴリズムを開発する。
• 正則化された共分散推定量における罰則スケーリングパラメータの選択のための交差検証法を提案する。

提案手法

• 行列対数関数と指数写像を用いて、対称正定値行列の空間におけるリーマン幾何学を形式化する。
• 測地的パarametrizationに関する一次および二次のテイラー展開を導入し、測地的凸性の十分条件を導出する。
• 測地的強制性を定義し、測地的凸関数の最小値の存在を保証する主要な条件とする。
• 滑らかで厳密に測地的凸な関数を、行列多様体上で最小化する一般化された部分ニュートンアルゴリズムを構築する。
• 対数尤度型の目的関数と、恒等行列またはスケーリングされた恒等行列に収束を促す測地的凸な罰則項を組み合わせることで、正則化M推定量に応用する。
• 予測誤差を最小化する基準に基づき、罰則スケーリングパラメータの選択のための交差検証手順を実装する。

実験結果

リサーチクエスチョン

• RQ1 正則化された共分散M推定量が存在し、一意であるための条件は何か？
• RQ2 対称正定値行列の空間上での、恒等行列に収束する罰則関数は、どのような条件下で測地的凸性を示すか？
• RQ3 測地的凸関数をリーマン多様体上での正定値行列多様体上で最小化するためのニュートン型アルゴリズムは、どのように適合可能か？
• RQ4 測地的強制性は、正則化された共分散推定量の最小値の存在を保証するために果たす役割は何か？
• RQ5 測地的凸性枠組みにおいて、交差検証を用いて罰則スケーリングパラメータを最適に選択する方法は何か？

主な発見

• 測地的凸性と強制性が併存することで、正則化M推定量の共分散の最小値の存在と一意性が保証される。
• 恒等行列またはそのスカラー倍に収束する罰則関数は、弱い条件下でも測地的凸性を示すことが示された。
• 提案された部分ニュートン法は局所的に収束し、滑らかさと厳密な測地的凸性のもとで超線形収束を示す。
• アルゴリズムの収束は、一次および二次の測地的テイラー展開によって裏付けられており、最小値近傍での関数挙動の上限を提供する。
• 交差検証は、罰則スケーリングパラメータの選択に実用的であることが示され、数値結果により安定した性能が確認された。
• 最小値近傍でのアルゴリズムの更新ステップの極限において、関数差の負の上界が得られ、下降が保証されることが示された。