[論文レビュー] Degrees of freedom for combining regression with factor analysis

Patrick O. Perry, Natesh S. Pillai|arXiv (Cornell University)|Oct 27, 2013

Random Matrices and Applications参考文献 28被引用数 6

ひとこと要約

本論文は、高次元多変量モデルにおける回帰と要因分析を組み合わせる際の自由度の割り当てに、原理的かつ体系的な手法を提案する。ランダム行列理論を用いて誤差分散推定のバイアスを是正し、保守的かつ正確な自由度推定を実現する。このアプローチにより、妥当な仮説検定が可能となり、統計的パワーが向上し、AGEMAPゲノム研究では、関連する年齢関連遺伝子の数が10倍に増加した。

ABSTRACT

In the AGEMAP genomics study, researchers were interested in detecting genes related to age in a variety of tissue types. After not finding many age-related genes in some of the analyzed tissue types, the study was criticized for having low power. It is possible that the low power is due to the presence of important unmeasured variables, and indeed we find that a latent factor model appears to explain substantial variability not captured by measured covariates. We propose including the estimated latent factors in a multiple regression model. The key difficulty in doing so is assigning appropriate degrees of freedom to the estimated factors to obtain unbiased error variance estimators and enable valid hypothesis testing. When the number of responses is large relative to the sample size, treating the estimated factors like observed covariates leads to a downward bias in the variance estimates. Many ad-hoc solutions to this problem have been proposed in the literature without the backup of a careful theoretical analysis. Using recent results from random matrix theory, we derive a simple, easy to use expression for degrees of freedom. Our estimate gives a principled alternative to ad-hoc approaches in common use. Extensive simulation results show excellent agreement between the proposed estimator and its theoretical value. Applying our methodology to the AGEMAP genomics study, we found an order of magnitude increase in the number of significant genes. Although we focus on the AGEMAP study, the methods developed in this paper are widely applicable to other multivariate models, and thus are of independent interest.

研究の動機と目的

• 測定されていない潜在要因が分析を歪める場合の多変量回帰における統計的パワーの低さに対処すること。
• 複数の回帰モデルにおける推定された潜在要因に適切な自由度を割り当てる課題を解決すること。
• 実務で一般的に使われるが理論的根拠に欠ける一時的な自由度調整の代替として、理論的根拠に基づいた代替手法を提供すること。
• 高次元ゲノムデータ（例：AGEMAP研究）における遺伝子-年齢関連性の仮説検定を可能にすること。

提案手法

• 反応行列を観測された共変量と特異値分解から得られる推定された潜在要因の組み合わせとしてモデル化する。
• ランダム行列理論を用いて、推定された要因の有効自由度の保守的かつ解析的に取り扱いやすい表現を導出する。
• ノイズ部分空間と信号部分空間における固有値の位相遷移行動を分析することで自由度を導出する。
• 推定された要因を回帰フレームワークにおける確率的効果として扱い、推定の不確実性を補正する自由度項を調整する。
• 補正により、正規性仮定下で不偏な誤差分散推定とt分布に従う検定統計量が保証される。
• 残差を縦方向および横方向の回帰から得て、係数行列の識別可能な成分を推定し、その後年齢関連遺伝子効果の仮説検定を実施する。

実験結果

リサーチクエスチョン

• RQ1 推定された潜在要因に一貫して自由度を割り当てる方法は何か？ これにより分散推定のバイアスを回避できるか？
• RQ2 高次元設定において潜在要因を回帰変数として含めた際の有効自由度を補正する理論的根拠は何か？
• RQ3 潜在要因を組み込むことで、AGEMAP研究における遺伝子-年齢関連性の検出における統計的パワーはどの程度向上するか？
• RQ4 提案された自由度推定器は、一時的な代替手法と比較して、第1種の過誤制御およびパワーの点でどのように異なるか？
• RQ5 この手法は、ゲノムを越えた他の多変量モデルへ一般化可能か？

主な発見

• シミュレーションにおいて、提案された自由度推定器は理論的予測に非常に近い結果を示し、強い経験的正確性を確認した。
• AGEMAP研究への適用により、有意な年齢関連遺伝子の数が10倍に増加した。
• 推定器は保守的であり、帰無仮説下でも妥当な第1種の過誤率を維持した。
• 理論的根拠に欠けるが実務で一般的に使われる一時的な自由度調整の代替として、原理的かつ整合的な代替手段を提供した。
• 誤差共分散行列が単位行列の定数倍であっても、手法は頑健に機能し、普遍性の結果から正規分布でない誤差へも拡張可能である可能性が示唆された。
• 応答変数の数（遺伝子数）が標本サイズ（被験者数）をはるかに上回る高次元設定においても、妥当な推論が可能となった。