[论文解读] Benchmarking 80 binary phenotypes from the openSNP dataset using deep learning algorithms and polygenic risk score tools

Muhammad Muneeb, David B. Ascher+3 more|arXiv (Cornell University)|Mar 6, 2026

Genetic Associations and Epidemiology被引用 0

一句话总结

研究使用 29 个 ML、80 个 DL 和 3 个 PRS 工具在 675 种聚集/ pruning 配置下，对 openSNP 的 80 个二元表型进行基准测试，并报告平均5折 AUC，以比较 ML/DL 与 PRS 方法的性能差异。

ABSTRACT

Genotype-phenotype prediction plays a crucial role in identifying disease-causing single nucleotide polymorphisms and precision medicine. In this manuscript, we benchmark the performance of various machine/deep learning algorithms and polygenic risk score tools on 80 binary phenotypes extracted from the openSNP dataset. After cleaning and extraction, the genotype data for each phenotype is passed to PLINK for quality control, after which it is transformed separately for each of the considered tools/algorithms. To compute polygenic risk scores, we used the quality control measures for the test data and the genome-wide association studies summary statistic file, along with various combinations of clumping and pruning. For the machine learning algorithms, we used p-value thresholding on the training data to select the single nucleotide polymorphisms, and the resulting data was passed to the algorithm. Our results report the average 5-fold Area Under the Curve (AUC) for 29 machine learning algorithms, 80 deep learning algorithms, and 3 polygenic risk scores tools with 675 different clumping and pruning parameters. Machine learning outperformed for 44 phenotypes, while polygenic risk score tools excelled for 36 phenotypes. The results give us valuable insights into which techniques tend to perform better for certain phenotypes compared to more traditional polygenic risk scores tools.

研究动机与目标

• 在 openSNP 推导的二元表型上基准基因型-表型预测。
• 比较机器学习、深度学习和多基因风险评分工具在病例对照分类中的表现。
• 系统地改变 SNP 预筛选和 PRS 参数以评估性能影响。
• 突出环境因素限制遗传预测的表型，并讨论迁移学习的考虑因素。

提出的方法

• 对 openSNP 表型数据进行预处理，提取 80 个二元表型并转换为 Plink 格式。
• 以阈值进行基因型质量控制（MAF 0.01，HWE 1e-6，基因型率 0.01，缺失率 0.7）并去除重复项。
• 对于 ML/DL：使用来自 GWAS 的 p 值阈值筛选 SNP（变体 50–10000 个），训练 29 个 ML 和 80 个 DL 模型，使用不同超参数；报告平均 5-fold AUC。
• 对于 PRS：从训练数据生成基于 GWAS 的基础文件，应用质量控制，进行 675 种参数组合的 pruning 和 clumping，跨 Plink、PRSice 和 Lassosum 工具；将 PRS 转换为二元以便评估。
• 通过 AUC 比较 ML/DL 与 PRS 工具的性能，并按表型综合出表现最佳的模型。

Figure 1: A workflow of genotype-phenotype prediction using ML/DL and PRS. A case/control classification flowchart using ML/DL and PRS tools. First, clean phenotype data and extract binary phenotypes from the openSNP dataset. Second, merge the genotype data for each phenotype, convert the dataset to

实验结果

研究问题

• RQ1 哪些表型更容易被 ML/DL 模型预测，而非多基因风险评分工具？
• RQ2 SNP 预筛选阈值与 pruning/clumping 参数如何影响不同方法的预测性能？
• RQ3 哪些具体模型/超参数能为单个表型带来最佳 AUC？
• RQ4 是否存在环境因素限制遗传预测的表型，迁移学习能否缓解数据稀缺？

主要发现

• ML/DL 在 44 个表型上优于 PRS 工具，而 PRS 工具在 36 个表型上表现更佳。
• ANN 是 26 个表型中最好的 DL 算法；XGBoost 是 11 个表型中最好的 ML 算法。
• 最佳 DL 超参数：dropout 0.2，优化器 Adam，批量大小 1，训练轮次 50（23 个表型）。
• 在 PRS 工具中，Plink 往往表现最好；clumping 阈值 0.1 取得更好结果；Lassosum 受益于 pruning 参数的变化。
• 对于某些表型（如 Type II 糖尿病、脂溢性皮炎、失明、湿疹、高血压、跖腱膜炎、纤维肌痛症），ML/DL 的 AUC≥80%；对于脊柱侧弯、坐骨神经痛综合征、 Misophonia、甘油三酯高、骨密度，PRS 的 AUC≥80%。
• 总体结论：最佳模型取决于数据质量、表型结构和超参数；openSNP 数据限制了解释；将迁移学习作为一种策略进行讨论。

Figure 2: This diagram shows the AUC for each phenotype obtained from the ML/DL algorithms and group phenotypes on the number of SNPs that yield the best results.