[論文レビュー] Multi-set Canonical Correlation Analysis simply explained

Lucas C. Parra|ArXiv.org|Feb 11, 2018

Sensory Analysis and Statistical MethodsAgricultural and Biological Sciences参考文献 12被引用数 17

ひとこと要約

本稿では、連結データの共分散行列を表す$\mathbf{R}$とそのブロック対角成分を表す$\mathbf{D}$を用いて、行列$\mathbf{D}^{-1}\mathbf{R}$の固有ベクトルを計算することにより、多セット正準相関分析（MCCA）の単一ステップ解法を提示する。この手法は追加の制約なしに集合間相関（ISC）を最大化し、PCAのホワイトニングを経た後に連結データに対してPCAを実行する二段階手順と同等である。

ABSTRACT

There are a multitude of methods to perform multi-set correlated component analysis (MCCA), including some that require iterative solutions. The methods differ on the criterion they optimize and the constraints placed on the solutions. This note focuses perhaps on the simplest version, which can be solved in a single step as the eigenvectors of matrix ${\bf D}^{-1} {\bf R}$. Here ${\bf R}$ is the covariance matrix of the concatenated data, and ${\bf D}$ is its block-diagonal. This note shows that this solution maximizes inter-set correlation (ISC) without further constraints. It also relates the solution to a two step procedure, which first whitens each dataset using PCA, and then performs an additional PCA on the concatenated and whitened data. Both these solutions are known, although a clear derivation and simple implementation are hard to find. This short note aims to remedy this.

研究の動機と目的

• 集合間相関（ISC）を最大化する明快で簡潔な多セットCCA（MCCA）手法の導出を明確にすること。
• MCCAの解が反復最適化を避けるために、$\mathbf{D}^{-1}\mathbf{R}$の固有ベクトルとして単一ステップで得られることを示すこと。
• 単一ステップの固有ベクトル解法と、各データセットに対してPCAによるホワイトニングを施し、その後連結ホワイトニングデータに対してPCAを実行する二段階手順との等価性を明確にすること。
• 複雑な先行手法とは対照的に、この手法の簡単な実装を提供し、利用可能性を高めること。

提案手法

• 本手法は、集合間共分散と集合内共分散の比を最大化することによりMCCAを定式化し、集合間相関（ISC）を$\rho = \frac{1}{N-1} \frac{r_B}{r_W}$として定義する。
• 各射影ベクトル$\mathbf{v}^l$に関する$\rho$の微分をゼロと置くことで最適化問題を導出し、一般化固有値方程式$\mathbf{R}\mathbf{v} = \mathbf{D}\mathbf{v}\lambda$に至る。
• 解は$\mathbf{D}^{-1}\mathbf{R}$の固有ベクトルとして得られ、最大の固有値が最大のISCに対応する。
• 本手法が、各データセットに対してPCAによるホワイトニングを施し、その後連結ホワイトニングデータに対してPCAを実行する二段階手順と数学的に同等であることが示された。
• 変換行列$\mathbf{V}$は$\mathbf{V} = \mathbf{U}\mathbf{\Lambda}^{-1/2}\tilde{\mathbf{V}}$として計算され、ここで$\mathbf{U}$と$\mathbf{\Lambda}$は最初のPCAの結果、$\tilde{\mathbf{V}}$は二番目のPCAの結果である。
• 標準固有値分解を用いて解を計算するMATLAB実装が提供されており、最大固有値が最大のISCを示す。

実験結果

リサーチクエスチョン

• RQ1 多セット正準相関分析（MCCA）を、明確な数学的導出を伴い、反復的でない単一ステップでどのように解くことができるか？
• RQ2 行列$\mathbf{D}^{-1}\mathbf{R}$の単一ステップ固有ベクトル解法と、各データセットをホワイトニングした後、連結データに対してPCAを実行する二段階手順との関係は何か？
• RQ3 単一ステップ解法は、自然に各成分間の無相関性を保証するのか？ もしそうなら、その仕組みは何か？
• RQ4 単純さ、解釈可能性、計算効率の観点から、他のMCCA定式化と比較して本手法はどのように異なるか？
• RQ5 特に高次元で標本数が少ない状況において、この手法は効率的かつ安定的に実装可能か？

主な発見

• MCCAの単一ステップ解法は、$\mathbf{R}$を全共分散行列、$\mathbf{D}$をそのブロック対角成分とする$\mathbf{D}^{-1}\mathbf{R}$の固有ベクトルとして与えられ、この解法は集合間相関（ISC）を最大化する。
• 固有ベクトルが$\mathbf{D}$を対角化するため、後続の成分が以前のものと無相関であることが自動的に保証され、標準的な直交制約を満たす。
• 本手法は、各データセットに対してPCAによるホワイトニングを施し、その後連結ホワイトニングデータに対してPCAを実行する二段階手順と数学的に同等である。
• $\mathbf{D}^{-1}\mathbf{R}$の最大固有値$\lambda$は、$\rho = \frac{\lambda - 1}{N - 1}$により最大ISCに対応し、$\rho \leq 1$である。
• N = 2の場合は標準CCAに帰着し、得られる$\rho$はピアソン相関係数に一致する。
• 標準固有値分解を用いて解を計算する直接的なMATLAB実装が提供されており、最大固有値に対応する最後の固有ベクトルが最大のISCを示す。