[論文レビュー] Linear Dimensionality Reduction: Survey, Insights, and Generalizations

John P. Cunningham, Zoubin Ghahramani|arXiv (Cornell University)|Jun 3, 2014

Face and Expression Recognition参考文献 123被引用数 382

ひとこと要約

この論文は、PCA、LDA、CCA、SFA などの多様な線形次元削減手法を、行列多様体上の最適化フレームワークとして統一し、多くの古典的手法が固有ベクトル問題として定式化された場合に、最適でないことが明らかになった。本稿では、線形次元削減のための汎用的で目的関数に依存しないソルバを提案し、既存の手法を一般化するとともに、直交射影CCAのような新たなバリエーションを可能にする。

ABSTRACT

Linear dimensionality reduction methods are a cornerstone of analyzing high dimensional data, due to their simple geometric interpretations and typically attractive computational properties. These methods capture many data features of interest, such as covariance, dynamical structure, correlation between data sets, input-output relationships, and margin between data classes. Methods have been developed with a variety of names and motivations in many fields, and perhaps as a result the connections between all these methods have not been highlighted. Here we survey methods from this disparate literature as optimization programs over matrix manifolds. We discuss principal component analysis, factor analysis, linear multidimensional scaling, Fisher's linear discriminant analysis, canonical correlations analysis, maximum autocorrelation factors, slow feature analysis, sufficient dimensionality reduction, undercomplete independent component analysis, linear regression, distance metric learning, and more. This optimization framework gives insight to some rarely discussed shortcomings of well-known methods, such as the suboptimality of certain eigenvector solutions. Modern techniques for optimization over matrix manifolds enable a generic linear dimensionality reduction solver, which accepts as input data and an objective to be optimized, and returns, as output, an optimal low-dimensional projection of the data. This simple optimization framework further allows straightforward generalizations and novel variants of classical methods, which we demonstrate here by creating an orthogonal-projection canonical correlations analysis. More broadly, this survey and generic solver suggest that linear dimensionality reduction can move toward becoming a blackbox, objective-agnostic numerical technology.

研究の動機と目的

• 統計、機械学習、信号処理にまたがる広範な線形次元削減手法を、一つの最適化フレームワークに統一すること。
• PCA や CCA などの有名な手法において、しばしば最適であると仮定される固有ベクトルに基づく解法の劣化を明らかにし、分析すること。
• 最初の主成分を選び、次に残差に対して第二の成分を選ぶというグリーディーで逐次的な次元選択が、線形次元削減において本質的に性能に制限をもたらすことを示すこと。
• 行列多様体上の最適化に基づき、汎用的で目的関数に依存しない線形次元削減ソルバを開発すること。
• 提案されたフレームワークを通じて、古典的手法の単純な一般化と新たなバリエーションの創出を可能にすること。

提案手法

• 線形次元削減を、正規直交行列のストイケル多様体と部分空間のグラスマン多様体を含む特定の行列多様体上の最適化問題として定式化する。
• 各手法（例：PCA、LDA、CCA）を、ストイケル多様体上で最大化または最小化すべき特定の目的関数として表現する。
• 反復点が多様体上に留まるように、再投影（retraction）を用いた勾配降下法を採用し、特異値分解を用いて効率的な再投影を実現する。
• 2段階の勾配更新を用いる：まず自由勾配を接空間に射影し、次にステップを多様体に戻す再投影を行う。
• ラインサーチや共役勾配法などの標準的な最適化技術を多様体設定に適応させ、非凸問題に対しても収束保証を可能にする。
• 本フレームワークの一般性を示すために、新しいバリエーションとして直交射影型コインシデント相関分析（orthogonal-projection CCA）を導出する。

実験結果

リサーチクエスチョン

• RQ1 PCA や CCA などの多くの古典的手法が、固有ベクトル問題として定式化された場合、なぜ最適でないのか？
• RQ2 最初の主成分を選び、その後に残差に対して第二の成分を選ぶというグリーディーで逐次的な成分選択は、線形次元削減においてどの程度性能を制限するのか？
• RQ3 行列多様体上の最適化フレームワークは、既存の線形次元削減技術を一般化し、改善できるのか？
• RQ4 ストイケル多様体やグラスマン多様体などの行列多様体の幾何的構造は、より強固で柔軟性のあるソルバの設計にどのように活用できるか？
• RQ5 このフレームワークを用いて、どのような新しい古典的手法のバリエーションを導出できるのか？また、それらは標準的手法と比べてどのように異なるか？

主な発見

• PCA や CCA などの広く使われている線形次元削減手法は、固有ベクトル分解を用いて解く場合、一般的な仮定とは対照的に、最適でないことが明らかになった。
• 残差上に逐次的に成分を最適化するグリーディーなアプローチは、すべての成分を同時に最適化できるというフレームワークの能力によって、グローバル最適解を捉えられていないことが示された。
• 行列多様体上の最適化は、PCA や LDA、CCA、SFA、ICA を含む既存手法を包含・一般化する、統一的で幾何学的に整合性のあるフレームワークを提供する。
• 再投影付き勾配降下法に基づく本稿で提案する汎用的ソルバは、実用的に一回の射影法よりも信頼性が高く、性能に優れる。
• フレームワークにより、直交性制約を維持する直交射影CCA などの新しいバリエーションの導出が可能となり、解釈性が向上する。
• Armijoラインサーチなどの標準的な最適化ツールを用いて理論的収束性を確立し、非凸多様体上での再投影勾配法に対してグローバル収束性が証明された。