[論文レビュー] Unifying linear dimensionality reduction

John P. Cunningham, Zoubin Ghahramani|arXiv (Cornell University)|Jun 3, 2014

Face and Expression Recognition参考文献 111被引用数 12

ひとこと要約

本論文は、PCA、LDA、CCA、ICA などの多様な線形次元削減手法を、行列多様体上の最適化フレームワークに統一する。これらの手法を最適化問題として定式化することで、従来の固有ベクトル解法に隠れた限界が明らかになり、任意のデータや目的関数に適用可能な汎用的で目的関数に依存しないソルバを可能にし、直交射影CCAのような新しい変種の次元削減が実現される。

ABSTRACT

Linear dimensionality reduction methods are a cornerstone of analyzing high dimensional data, due to their simple geometric interpretations and typically attractive computational prop-erties. These methods capture many data features of interest, such as covariance, dynamical structure, correlation between data sets, input-output relationships, and margin between data classes. Methods have been developed with a variety of names and motivations in many fields, and perhaps as a result the deeper connections between all these methods have not been un-derstood. Here we unify methods from this disparate literature as optimization programs over matrix manifolds. We discuss principal component analysis, factor analysis, linear multidimen-sional scaling, Fisher’s linear discriminant analysis, canonical correlations analysis, maximum autocorrelation factors, slow feature analysis, undercomplete independent component analysis, linear regression, and more. This optimization framework helps elucidate some rarely discussed shortcomings of well-known methods, such as the suboptimality of certain eigenvector solutions. Modern techniques for optimization over matrix manifolds enable a generic linear dimensionality reduction solver, which accepts as input data and an objective to be optimized, and returns, as output, an optimal low-dimensional projection of the data. This optimization framework further allows rapid development of novel variants of classical methods, which we demonstrate here by creating an orthogonal-projection canonical correlations analysis. More broadly, we suggest that our generic linear dimensionality reduction solver can move linear dimensionality reduction toward becoming a blackbox, objective-agnostic numerical technology. 1

研究の動機と目的

• 多様な分野に散在する線形次元削減手法を、一貫した数学的枠組みに統合すること。
• 古典的手法においてあまり議論されない、例えば固有ベクトルに基づく解法の非最適性といった、稀にしか言及されない欠陥を特定・明確化すること。
• 任意のデータや目的関数に適用可能な、汎用的で目的関数に依存しない線形次元削減ソルバを開発すること。
• 提案された最適化フレームワークを通じて、古典的手法の新しい変種を迅速にプロトタイピングすること。
• 線形次元削減を、他の分野における最適化ソルバと同様にブラックボックス数値技術として位置づけること。

提案手法

• 線形次元削減を、特にStiefel多様体とGrassmann多様体を含む行列多様体上の最適化問題として定式化すること。
• 各手法（例：PCA、LDA、CCA）を、正規直交制約下での特定の目的関数の最大化または最小化問題として表現すること。
• リーマンの信頼領域法や共役勾配法などの、現代の行列多様体最適化技術を活用すること。
• 同じ汎用ソルバーアーキテクチャを用いて多様な目的関数を処理し、手法固有の実装詳細を抽象化すること。
• 目的関数の変更によって新しい変種を導出すること（例：主成分分析における直交制約の導入）。
• 最適化領域の幾何的構造を活用することで、数値的安定性と収束性を確保すること。

実験結果

リサーチクエスチョン

• RQ1 広く使われている線形次元削減手法を、一貫した数学的枠組みに正式に統合することは可能か？
• RQ2 PCA や CCA のような古典的手法における、標準的な固有ベクトルに基づく解法に内在する限界は何か？
• RQ3 任意の線形次元削減目的関数を処理できる、汎用的で目的関数に依存しないソルバを設計できるか？
• RQ4 最適化フレームワークが、古典的手法の新しい改善版の創出をどの程度可能にするか？
• RQ5 行列多様体最適化アプローチは、線形次元削減のロバストネスと解釈可能性をどのように向上させるか？

主な発見

• 提案されたフレームワークにより、PCA、LDA、CCA、ICA など10種類以上の古典的手法が、一様な最適化定式化によって統合された。
• フレームワークにより、正規直交制約が適切に反映されていない場合に、広く使われている固有ベクトル解法が非最適であることが明らかになった。
• 任意のユーザー定義目的関数を処理可能な、汎用的で目的関数に依存しない線形次元削減ソルバが実証された。
• 本手法により、射影行列に直交性制約を課す「直交射影主成分分析」という新しい変種が開発可能となり、従来のCCAを改善した。
• 現代の行列多様体最適化技術により、多様な目的関数においても信頼性の高い収束性と数値的安定性が確保された。
• 目的関数の単純な変更により、新しい手法の迅速なプロトタイピングが可能となり、開発時間の短縮とメソドロジーの柔軟性が向上した。