[論文レビュー] Canonical correlation analysis of high-dimensional data with very small sample support

Yang Song, Peter J. Schreier+2 more|arXiv (Cornell University)|Apr 7, 2016

Blind Source Separation Techniques参考文献 27被引用数 4

ひとこと要約

本稿では、次元が高く、標本数が少ない状況下における、正準相関分析（CCA）のための連合的モデル次数選択手法を提案する。この手法は、低ランクのバーテルト＝ローリー検定と最小記述長（MDL）基準を統合することで、標本数がデータ次元数よりも著しく少ない場合でも、PCAの次元と真正の相関信号数の両方を正確に推定可能である。色雑音環境下でも、直感的・経験的な手法を上回る性能を示す。

ABSTRACT

This paper is concerned with the analysis of correlation between two high-dimensional data sets when there are only few correlated signal components but the number of samples is very small, possibly much smaller than the dimensions of the data. In such a scenario, a principal component analysis (PCA) rank-reduction preprocessing step is commonly performed before applying canonical correlation analysis (CCA). We present simple, yet very effective approaches to the joint model-order selection of the number of dimensions that should be retained through the PCA step and the number of correlated signals. These approaches are based on reduced-rank versions of the Bartlett-Lawley hypothesis test and the minimum description length information-theoretic criterion. Simulation results show that the techniques perform well for very small sample sizes even in colored noise.

研究の動機と目的

• 標本数がデータ次元数に対して非常に少ない状況下で、信頼性のある正準相関分析（CCA）を実行する課題に対処すること。
• PCAランクと相関信号数の最適選択を、原理的かつデータ駆動的に解決すること。
• 従来のCCAが過大評価による歪みを生じるため、過小な標本数と色雑音下でも効果を発揮する手法の開発。
• PCAランクと相関信号数の選択を、経験的・直感的選択の代替として体系的に行う手法の提供。

提案手法

• PCA前処理後に得られる正準相関の有意性を評価するため、バーテルト＝ローリー尤度比検定の低ランク版を用いる。
• モデルの適合度と複雑さのバランスを取るために、最小記述長（MDL）情報理論的基準を適用し、PCAランクと相関信号数の選択を行う。
• モデル適合度と次元削減のトレードオフを評価することで、相関信号数 $d$ とPCA次元 $r_x$, $r_y$ を同時に推定する。
• 真正の相関信号数 $d$ は、データ次元 $m$ と $n$ が大きくても通常は小さいという事実を活用する。
• 極小の標本から推定された標本共分散行列を用い、CCAの前にPCAによる次元削減を施すことで、誤った相関を回避する。
• 固有値の交互配置とワイエルの不等式を用いた理論的裏付けにより、正準相関推定値がPCAランクに伴い増加することを示し、慎重なモデル次数選択の必要性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 次元が高く、標本数が極めて少ないCCAにおいて、PCAランク $r_x$ と $r_y$ および相関信号数 $d$ をどのように連合的に選択できるか？
• RQ2 標本数 $M$ が $m+n$ より著しく小さい状況（$M \ll m+n$）で、標本相関が著しくバイアスを受ける中で、真の正準相関を信頼性高く検出する統計的基準は何か？
• RQ3 色雑音下でのモデル次数選択において、低ランクバーテルト＝ローリー検定とMDL基準は、性能面でどのように比較できるか？
• RQ4 極めて少ない標本数下では、これらの手法がヒューリスティック的または経験的選択を上回る性能を示せるか？
• RQ5 標本正準相関推定値がPCAランクに伴い単調増加する理論的根拠は何か？この性質は、モデル選択にどのように影響を及えるか？

主な発見

• 提案された連合的モデル次数選択手法は、次元が高く、標本数が少ない状況下での正準相関推定精度を顕著に向上させる。
• 低ランクバーテルト＝ローリー検定とMDL基準の両方が、標本数 $M$ がデータ次元の合計 $m+n$ より著しく小さい場合でも、安定して高い性能を示す。
• シミュレーション結果から、本手法は、$\delta = 4^\circ$ 以上の角度間隔から相関信号を高い検出率で検出可能であり、色雑音下でも有効である。
• 色雑音下では、SEV+X手法に比べ、本手法の検出器が優れた性能を示す。SEV+X手法は、角度間隔に関係なく完全に失敗する。
• 本手法は、$M < m+n$ の場合に生じる正準相関の過大評価（最大 $m+n-M$ 個の相関が誤って1に推定される）を効果的に緩和する。
• 理論的分析により、標本正準相関推定値がPCAランクに伴い単調に増加することが確認され、過学習を避けるための原理的モデル次数選択の必要性が裏付けられた。