[論文レビュー] Subspace Perspective on Canonical Correlation Analysis: Dimension Reduction and Minimax Rates

Zhuang Ma, Xiaodong Li|arXiv (Cornell University)|May 12, 2016

Face and Expression Recognition参考文献 37被引用数 4

ひとこと要約

本稿は、標本および母集団の正準変数部分空間間の主角度に基づく誤差指標を提案することで、正準相関分析（CCA）の新たな部分空間的アプローチを導入する。非漸近的誤差バインディングを確立し、次元数、標本サイズ、条件数、および正準相関係数に適応的に依存する。特に、相関係数が1に近い場合に極めて重要となる、非漸近的CCA収束における最初の導出であるレート $(1 - \lambda_k^2)(1 - \lambda_{k+1}^2)/( \lambda_k - \lambda_{k+1})^2$ を得る。

ABSTRACT

Canonical correlation analysis (CCA) is a fundamental statistical tool for exploring the correlation structure between two sets of random variables. In this paper, motivated by recent success of applying CCA to learn low dimensional representations of high dimensional objects, we propose to quantify the estimation loss of CCA by the excess prediction loss defined through a prediction-after-dimension-reduction framework. Such framework suggests viewing CCA estimation as estimating the subspaces spanned by the canonical variates. Interestedly, the proposed error metrics derived from the excess prediction loss turn out to be closely related to the principal angles between the subspaces spanned by the population and sample canonical variates respectively. We characterize the non-asymptotic minimax rates under the proposed metrics, especially the dependency of the minimax rates on the key quantities including the dimensions, the condition number of the covariance matrices, the canonical correlations and the eigen-gap, with minimal assumptions on the joint covariance matrix. To the best of our knowledge, this is the first finite sample result that captures the effect of the canonical correlations on the minimax rates.

研究の動機と目的

• 次元削減という主な応用目的に合わせた損失関数を整えるために、CCA推定における原理的誤差指標の欠如に対処すること。
• 標本CCAの非漸近的リスクバインディングを導出し、標本サイズ、次元数、条件数、正準相関係数といった主要統計的パラメータの影響を適応的に反映すること。
• 厳しい局所的パrameter空間における上界の最適性を検証するため、ミニマックス下界を確立すること。
• 残差相関がゼロであると仮定しない状況で、誤差バインディングの一次項における $p_1$ と $p_2$ の分離を解決すること。
• 非漸近的CCA収束において、項 $(1 - \lambda_k^2)(1 - \lambda_{k+1}^2)/(\lambda_k - \lambda_{k+1})^2$ を含む最初の非漸近的収束レートを導出すること。これは、正準相関が完全に近い場合のCCAパフォーマンスを理解する上で不可欠である。

提案手法

• 標本および母集団の正準変数が張る部分空間間の主角度に基づく、2つの新しい誤差指標を提案する。
• 非漸近的確率行列理論およびスペクトル摂動技術を用いて、これらの指標における推定リスクを分析する。
• 上界を一様に導出し、一次項における $p_1$ と $p_2$ の寄与を明示的に分離する。残差相関が消えると仮定しない。
• 正準相関構造の洗練された分析を導入し、非漸近的CCAにおいて初めて、収束レート項 $(1 - \lambda_k^2)(1 - \lambda_{k+1}^2)/(\lambda_k - \lambda_{k+1})^2$ を導出する。
• 局所的パrameter空間を構築し、ミニマックス下界を導出し、上界の最適性を証明する。
• 行列摂動理論およびトレース不等式を用いて、母集団と標本の共分散構造の乖離をバインドする。特に、部分空間差のフロベニウスノルムに注目する。

実験結果

リサーチクエスチョン

• RQ1 次元削減を目的とした場合、母集団と標本CCAの乖離を測る適切な誤差指標は何か？
• RQ2 CCAにおける非漸近的推定リスクは、標本サイズ、次元数 $p_1$ と $p_2$、共分散行列の条件数、正準相関係数にどのように依存するか？
• RQ3 残差相関がゼロであると仮定しない状況で、CCA推定の一次誤差項を $p_1$ と $p_2$ の寄与に分離できるか？
• RQ4 主な正準相関係数が1に近い場合、標本CCAの正確な非漸近的収束レートは何か？
• RQ5 局所的パrameter空間において、提案された推定リスク上界はミニマックス的に最適か？

主な発見

• 本稿は、残差相関がゼロであると仮定しない状況で、一次項における $p_1$ と $p_2$ の分離を実現する非漸近的上界を初めて導出する。
• 正準相関が1に近い場合にCCAパフォーマンスを理解する上で極めて重要な収束レート項 $(1 - \lambda_k^2)(1 - \lambda_{k+1}^2)/(\lambda_k - \lambda_{k+1})^2$ を、非漸近的解析において初めて明示的に導出する。
• 主角度に基づく提案誤差指標は、非漸近的リスクバインディングを生み出し、標本サイズ、次元数、条件数、正準相関係数といったすべての主要パラメータの影響を適応的に反映する。
• 厳しい局所的パrameter空間における下界解析を通じて、上界がミニマックス的に最適であることが示され、理論的結果のタイトさが確認される。
• 正準相関係数とそのギャップを含むトレース表現を用いて、母集団と標本の部分空間射影の差のフロベニウスノルムをバインドする。これにより、部分空間推定誤差の正確な特徴づけが可能になる。
• 解析により、正準相関係数が1に近い場合、連続する正準相関係数のギャップに起因する $(1 - \lambda_k^2)/(\lambda_k - \lambda_{k+1})^2$ 要素の爆発的増大により、推定誤差が最も感度が高いことが明らかになる。