[論文レビュー] Sparse CCA: Adaptive Estimation and Computational Barriers

Chao Gao, Zongming Ma+1 more|arXiv (Cornell University)|Sep 30, 2014

Statistical Methods and Inference参考文献 48被引用数 54

ひとこと要約

本稿は、一般の共分散構造下でスパースな正準相関分析（SCCA）のための分離されたミニマックス推定レートを確立し、サンプルサイズの条件を満たす場合に最適レートを達成する計算効率が良く、適応的な推定量であるCoLaRを提案する。さらに、このサンプルサイズの条件が、Planted Clique問題の難易度を仮定すると、任意のランダム化された多項式時間推定量が一貫性を持つために必要不可欠であることを証明し、SCCAおよびスパースPCAにおける計算的障壁を確立する。

ABSTRACT

Canonical correlation analysis is a classical technique for exploring the relationship between two sets of variables. It has important applications in analyzing high dimensional datasets originated from genomics, imaging and other fields. This paper considers adaptive minimax and computationally tractable estimation of leading sparse canonical coefficient vectors in high dimensions. First, we establish separate minimax estimation rates for canonical coefficient vectors of each set of random variables under no structural assumption on marginal covariance matrices. Second, we propose a computationally feasible estimator to attain the optimal rates adaptively under an additional sample size condition. Finally, we show that a sample size condition of this kind is needed for any randomized polynomial-time estimator to be consistent, assuming hardness of certain instances of the Planted Clique detection problem. The result is faithful to the Gaussian models used in the paper. As a byproduct, we obtain the first computational lower bounds for sparse PCA under the Gaussian single spiked covariance model.

研究の動機と目的

• 高次元スパースCCAにおける正準係数ベクトルの別々のミニマックス推定レートを導出すること。このとき、もう一方の集合のスパarsityに依存しないこと。
• スパarsityレベルの事前知識なしに最適レートを達成できる、計算的に扱いやすく適応的な推定量を開発すること。
• Planted Clique仮定の下で、スパースCCAのための計算的障壁を確立すること。具体的には、一貫性を持つランダム化多項式時間推定量が満たすべきサンプルサイズ条件が必要不可欠であることを示すこと。

提案手法

• 予測誤差損失関数を用いて、正準係数ベクトル $U$ と $V$ の別々のミニマックスレートを導出し、$U$ のレートが $n, r, \lambda_r, p, s_u$ のみに依存し、$m$ や $s_v$ には依存しないことを示す。
• CoLaR推定量を提案する。これは初期のスペクトル推定量と、グループLasso型の精密化を組み合わせた二段階法であり、適応的かつ最適な推定を達成する。
• 凸最適化とグループLasso正則化を用いて、正準ベクトルのスパarsityを強制しつつ、計算の実行可能性を維持する。
• 問題をPlanted Clique検出問題に還元することで、一貫性のある推定のためには $n \gtrsim \max(s_u, s_v)^2$ のサンプルサイズ条件が必要であることを確立する。
• 計算難易度仮定を用いて、単一スパイクガウス共分散モデル下でのスパースPCAに対する最初の計算下界を導出する。
• 正準変数の予測誤差を捉える新しい損失関数を採用し、連合損失関数よりも洗練された分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 高次元スパースCCAにおける正準係数ベクトル $U$ と $V$ の別々のミニマックス推定レートは何か。このレートは、もう一方の集合のスパarsityに依存しないか。
• RQ2 スパarsityレベルの事前知識なしに、最適ミニマックスレートを達成できる計算的に効率的かつ適応的な推定量を構築できるか。
• RQ3 スパースCCAで最適推定レートを達成する際の計算的コストは何か。また、効率的な推定に根本的な障壁は存在するか。

主な発見

• 正準係数 $U$ のミニマックスレートは $n, r, \lambda_r, p, s_u$ のみに依存し、$m$ や $s_v$ には依存しない。これは、よりスパースな集合がより速く推定可能であることを示唆する。
• CoLaR推定量は、条件 $n \gtrsim \max(s_u, s_v)^2$ を満たす限り、適応的かつ多項式時間内に最適ミニマックスレートを達成する。この条件が一貫性のためには必要不可欠であることも示されている。
• Planted Clique問題が難しいと仮定すると、スパースCCAの任意のランダム化多項式時間推定量は、一貫性を持つためには $n \gtrsim \max(s_u, s_v)^2$ を満たさなければならないことが確立された。
• シミュレーションでは、提案手法はPMAおよび初期推定量を著しく上回り、高次元設定下でCoLaRはPMAに比べて中央値予測誤差を最大90％まで低減した。
• 誤ったランク $r$ などのモデル不適合に対しても推定量は頑健であり、すべてのテストされた共分散構造（単位行列、Toeplitz、SparseInv）で最小限の性能劣化にとどまった。
• 本研究は、単一スパイクガウス共分散モデル下でのスパースPCAに対する最初の計算下界を提供した。これはPlanted Clique問題への還元によって導出された。