[論文レビュー] Statistics on the (compact) Stiefel manifold: Theory and Applications

Rudrasis Chakraborty, Baba C. Vemuri|arXiv (Cornell University)|Jul 31, 2017

Face and Expression Recognition参考文献 32被引用数 11

ひとこと要約

本稿では、同次空間であるコンpact Stiefel多様体上に、新たなガウス分布を導入し、その位置母数の最尤推定値がフレシェ平均（FM）に等しいことを証明する。また、反復最適化を回避する固定ステップサイズを用いた逐次的・決定的FM推定法StiFMEを提案し、合成データおよび実データにおいて勾配ベースおよび確率的勾配法よりも計算効率と収束速度に優れている。

ABSTRACT

A Stiefel manifold of the compact type is often encountered in many fields of Engineering including, signal and image processing, machine learning, numerical optimization and others. The Stiefel manifold is a Riemannian homogeneous space but not a symmetric space. In previous work, researchers have defined probability distributions on symmetric spaces and performed statistical analysis of data residing in these spaces. In this paper, we present original work involving definition of Gaussian distributions on a homogeneous space and show that the maximum-likelihood estimate of the location parameter of a Gaussian distribution on the homogeneous space yields the Fréchet mean (FM) of the samples drawn from this distribution. Further, we present an algorithm to sample from the Gaussian distribution on the Stiefel manifold and recursively compute the FM of these samples. We also prove the weak consistency of this recursive FM estimator. Several synthetic and real data experiments are then presented, demonstrating the superior computational performance of this estimator over the gradient descent based non-recursive counter part as well as the stochastic gradient descent based method prevalent in literature.

研究の動機と目的

• 対称空間に限定された先行研究を一般化し、同次空間に有効なガウス分布を定義すること。
• この分布における位置母数の最尤推定値（MLE）が、標本のフレシェ平均（FM）に一致することを証明すること。
• 反復最適化を回避する、逐次的・決定的アルゴリズム（StiFME）を設計し、多様体値データのFM推定を実行可能にするとともに、弱一貫性の証明を行うこと。
• オンラインおよびストリーミングデータ環境下で、勾配降下法および確率的勾配降下法（SGD）と比較して、StiFMEの計算効率が優れていることを実証すること。
• 合成データおよび実世界データ（ベクトル心電図解析含む）を用いて手法を検証し、高い再構成精度と低誤差を示すこと。

提案手法

• コンパクトStiefel多様体を同次空間とみなして、正規化定数が位置母数に依存しないガウス分布を定義する。
• リーマン多様体上の指数写像と接空間を用い、定数正規化係数を持つ確率密度関数を構築する。
• 定義されたStiefel多様体上でのガウス分布からi.i.d.標本を生成するためのサンプリング手順を開発する。
• 固定ステップサイズを用いてFM推定値を逐次的に更新する、反復的最適化を回避するアルゴリズムStiFMEを提案する。
• 標準的な正則性条件の下でStiFMEの弱一貫性を証明し、真のFMに確率的に収束することを示す。
• 位置母数のMLEが漸近的にクラメール・ラオ低限に達することを確立し、効率性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 同次空間（例えばコンパクトStiefel多様体）上に、定数正規化係数を持つ適切なガウス分布を定義できるか？
• RQ2 このガウス分布における位置母数の最尤推定値は、標本のフレシェ平均に一致するか？
• RQ3 反復的最適化を回避し、弱一貫性を保証する、Stiefel多様体上でのFM推定のための逐次的・決定的アルゴリズムを設計可能か？
• RQ4 提案された逐次的推定法（StiFME）は、多様体値データにおいて勾配降下法および確率的勾配降下法と比較して、収束速度と精度に優れているか？
• RQ5 StiFMEの計算複雑度と実データおよび合成データ環境下での実効的性能は、既存のFM推定法と比較して如何にか？

主な発見

• Stiefel多様体上に定義されたガウス分布は、定数正規化係数を有し、数学的整合性が裏付けられた。
• 位置母数のMLEが、標本のフレシェ平均に厳密に等しいことが証明され、FM推定の統計的基盤が確立された。
• 100個の標本を1回のパスで処理した場合、StiFMEは真のFMからの距離が0.00025に達し、分散は0.05と低かった。一方、[7]におけるSGD法は同じ許容誤差に到達するまでに19回のパスを要した。
• 分散が0.29に上昇した場合、StiFMEは1回のパスで距離0.00039を達成したが、SGD法は0.00039の許容誤差に到達するまでに58回のパスを要した。
• StiFMEの時間計算量はO(ιN)であり、1パスで収束を達成するため、SGD（バッチサイズb、反復回数ι̂）のO(bι̂)に比べて著しく高速である。
• ベクトル心電図データにおいて、最初の2つの主地磁気方向を用いた再構成では、1人あたり平均誤差0.05を達成し、FMおよびPGAに基づく解析の高精度を示した。