[論文レビュー] Comparison of Canonical Correlation and Partial Least Squares analyses of simulated and empirical data

Anthony R. McIntosh|arXiv (Cornell University)|Jul 14, 2021

Sensory Analysis and Statistical Methods被引用数 5

ひとこと要約

本研究では、大規模なサンプルサイズを有するシミュレーテッドおよび実データセットを用い、感受性、信頼性、再現性を評価するためにサブサンプリングを用いて、標準的相関分析（CCA）と部分最小二乗法（PLS）を比較した。結果として、弱いから強い効果の範囲ではCCAとPLSは同等の性能を示したが、CCAはブロック内相関が高い場合に信頼性が低下する傾向にあり、これは事前PCAによる成分数スコア処理で緩和された。一方、PLSは小さなサンプルサイズでも再現性を維持した。多変量解析において、有意性と再現性の両方を評価する必要があることが示された。

ABSTRACT

In this paper, we compared the general forms of CCA and PLS on three simulated and two empirical datasets, all having large sample sizes. We took successively smaller subsamples of these data to evaluate sensitivity, reliability, and reproducibility. In null data having no correlation within or between blocks, both methods showed equivalent false positive rates across sample sizes. Both methods also showed equivalent detection in data with weak but reliable effects until sample sizes drop below n=50. In the case of strong effects, both methods showed similar performance unless the correlations of items within one data block were high. For PLS, the results were reproducible across sample sizes for strong effects, except at the smallest sample sizes. On the contrary, the reproducibility for CCA declined when the within-block correlations were high. This was ameliorated if a principal components analysis (PCA) was performed and the component scores used to calculate the cross-block matrix. The outcome of our examination gives three messages. First, for data with reasonable within and between block structure, CCA and PLS give comparable results. Second, if there are high correlations within either block, this can compromise the reliability of CCA results. This known issue of CCA can be remedied with PCA before cross-block calculation. This, however, assumes that the PCA structure is stable for a given sample. Third, null hypothesis testing does not guarantee that the results are reproducible, even with large sample sizes. This final outcome suggests that both statistical significance and reproducibility be assessed for any data.

研究の動機と目的

• 異なるデータ条件下での標準的相関分析（CCA）と部分最小二乗法（PLS）の相対的性能を評価すること。
• サンプルサイズの減少に伴うCCAとPLSの感受性、信頼性、再現性を評価すること。
• 高いブロック内相関がCCAの結果に与える影響を調査し、その是正策を検討すること。
• 多変量解析において、統計的有意性だけが再現性を保証するかどうかを検討すること。
• データ構造とサンプルサイズに基づいてCCAとPLSの選択に関する実用的指針を提示すること。

提案手法

• 本研究では、3つのシミュレーテッドデータセットおよび2つの実データセット（大規模サンプル）にCCAとPLSを適用した。
• 各データセットから順次サブサンプルを抽出し、サンプルサイズに応じた性能を評価した。
• 偽陽性率を評価するために、ブロック内およびブロック間の相関が存在しないノイズデータを用いた。
• CCAでは、クロスブロック共分散行列を計算する前に、データブロックに主成分分析（PCA）を適用した。
• 再現性は、異なるサイズのサブサンプル間での結果比較を通じて評価した。
• 統計的有意性と再現性を独立して評価し、両者の関係を検証した。

実験結果

リサーチクエスチョン

• RQ1 サンプルサイズが変化する条件下で、CCAとPLSの統計的パワーおよび偽陽性率はどのように比較されるか？
• RQ2 高いブロック内相関は、CCAの結果の信頼性にPLSと比較してどのような影響を与えるか？
• RQ3 PCA前処理は、高いブロック内相関が存在する状況下でCCAの信頼性を向上させることができるか？
• RQ4 CCAまたはPLSにおける統計的有意性は、サブサンプル間で結果の再現性を保証するか？
• RQ5 どのような条件下で、CCAとPLSは実データおよびシミュレーテッドデータにおいて同等の結果をもたらすか？

主な発見

• 相関が存在しないノイズデータでは、CCAとPLSはすべてのサンプルサイズで同等の偽陽性率を示した。
• 弱いが信頼性のある効果に対しては、両手法がn=50未満のサンプルサイズにまで同程度の性能を示した。
• 強い効果の下では、ブロック内相関が高くない限り、CCAとPLSは同程度の性能を示したが、ブロック内相関が高い場合にはCCAの信頼性が低下した。
• PLSはサンプルサイズにかかわらず高い再現性を維持したが、最小のサンプルサイズでは例外的であった。
• CCAの再現性は高いブロック内相関下で低下したが、これはクロスブロック行列計算の前に成分数スコアにPCAを適用することで緩和された。
• 本研究では、統計的有意性が大規模サンプルでも再現性を保証するとは限らないことが判明し、両指標を併用して評価する必要性が強調された。