[論文レビュー] A Grassmann Manifold Handbook: Basic Geometry and Computational Aspects

Thomas Bendokat, Ralf Zimmermann+1 more|arXiv (Cornell University)|Nov 27, 2020

Matrix Theory and Algorithms参考文献 76被引用数 28

ひとこと要約

このハンドブックは、リーマン多様体の操作である指数写像、対数写像、平行移動、曲率のための計算アルゴリズムに焦点を当てた、グラスマン多様体幾何学の包括的で行列ベースの取り扱いを提供する。リーマン対数写像の数値的に安定したアルゴリズムを導入し、ジャコビ場および指数写像の微分に関する新しい公式を導出することで、直交射影子と商空間の視点の両方を最適化および低ランク行列問題への応用で統合する。

ABSTRACT

The Grassmann manifold of linear subspaces is important for the mathematical modelling of a multitude of applications, ranging from problems in machine learning, computer vision and image processing to low-rank matrix optimization problems, dynamic low-rank decompositions and model reduction. With this mostly expository work, we aim to provide a collection of the essential facts and formulae on the geometry of the Grassmann manifold in a fashion that is fit for tackling the aforementioned problems with matrix-based algorithms. Moreover, we expose the Grassmann geometry both from the approach of representing subspaces with orthogonal projectors and when viewed as a quotient space of the orthogonal group, where subspaces are identified as equivalence classes of (orthogonal) bases. This bridges the associated research tracks and allows for an easy transition between these two approaches. Original contributions include a modified algorithm for computing the Riemannian logarithm map on the Grassmannian that is advantageous numerically but also allows for a more elementary, yet more complete description of the cut locus and the conjugate points. We also derive a formula for parallel transport along geodesics in the orthogonal projector perspective, formulae for the derivative of the exponential map, as well as a formula for Jacobi fields vanishing at one point.

研究の動機と目的

• 機械学習、コンピュータビジョン、低ランク最適化に不可欠なグラスマン多様体幾何学の統一的で計算指向の参考書を提供すること。
• 部分空間の2つの主要な行列表現、すなわち直交射影子と直交群の商空間の両者をつなぐこと。
• アルゴリズム的利用を目的とした、指数写像、対数写像、平行移動、曲率といった主要なリーマン幾何学的演算を導出し、分析すること。
• リーマン対数写像の計算における数値的安定性と幾何的明確性を向上させ、カット集合および共役点を特徴づけること。
• 射影子表現を用いて、ある点で消えるジャコビ場および指数写像の微分に関する新しい解析的公式を導出すること。

提案手法

• 部分空間を $\mathrm{Gr}(n,p)$ における直交射影子およびステイフェル多様体 $\mathrm{St}(n,p)$ における正規直交基底の同値類として表現することで、二重の視点を可能にする。
• 射影 $\pi^{\mathrm{SG}}(U) = UU^T$ を通じて、$\mathrm{St}(n,p)$ の商構造から $\mathrm{Gr}(n,p)$ 上のリーマン計量を導出する。
• 水平上昇のSVDを用いた修正アルゴリズムを提案することで、数値的安定性を向上させ、カット集合の完全かつ基本的な記述を可能にするリーマン対数写像の計算。
• 水平上昇と接ベクトルのSVD分解を用いて、測地線に 沿った平行移動の閉形式の公式を導出する。
• 行列分解のSVDに基づく微分を用いて、指数写像の微分およびジャコビ場を計算する。
• 行列微積分とSVDを用いて、曲率、指数写像、対数写像の公式を導出し、アルゴリズム的効率のためのFLOP数を提示する。

実験結果

リサーチクエスチョン

• RQ1 グラスマン多様体上のリーマン対数写像は、数値的安定性と幾何的完全性を向上させながら、どのように計算できるか？
• RQ2 直交射影子と商空間表現の両方がグラスマン多様体を表す関係は何か？ そして、アルゴリズム内でどのように滑らかに接続できるか？
• RQ3 行列ベースの手法を用いて、グラスマン多様体上の平行移動を効率的かつ正確に計算するにはどうすればよいか？
• RQ4 指数写像の微分およびジャコビ場の解析的表現は何か？ また、接ベクトルのSVDにどのように依存するか？
• RQ5 グラスマン多様体上の主要なリーマン操作の計算コスト（FLOPs単位）は何か？ また、$n$ と $p$ に対してどのようにスケーリングされるか？

主な発見

• リーマン対数写像の修正アルゴリズムは、数値的により安定しており、カット集合および共役点の完全かつ基本的な記述を可能にする。
• 水平上昇と接ベクトルのSVDを用いた直交射影子フレームワークにおいて、グラスマン多様体上の平行移動の閉形式の公式が導出された。
• SVDによる微分を用いて指数写像の微分が導出され、最適化アルゴリズムにおける効率的計算が可能になった。
• ある点で消えるジャコビ場の公式が導出され、グラスマン多様体上の測地線のずれおよび曲率を分析するための重要なツールが得られた。
• 主な演算のFLOP数が提示された：リーマン指数写像（約 $6np^2 + 6p^3 + p$）、リーマン対数写像（約 $8np^2 + 2np + p^3 + p^2 + 2p$）、平行移動（約 $5np^2 + 4np + p^2 + 4p$）、$n \gg p$ を仮定して。
• グラスマン多様体の断面曲率は $K_P(\Delta_1, \Delta_2) = 4 \frac{\operatorname{tr}(\Delta_1^2 \Delta_2^2) - \operatorname{tr}((\Delta_1 \Delta_2)^2)}{\operatorname{tr}(\Delta_1^2)\operatorname{tr}(\Delta_2^2) - (\operatorname{tr}(\Delta_1 \Delta_2))^2}$ で与えられ、対称な接ベクトルに対して有界かつ適切に定義されている。