[论文解读] Diet Networks: Thin Parameters for Fat Genomics

Adriana Romero, Pierre Carrier+8 more|arXiv (Cornell University)|Nov 28, 2016

Cancer-related molecular mechanisms research被引用 10

一句话总结

本文提出Diet Networks，一种新颖的神经网络参数化方法，可显著减少高维基因组数据（特别是单核苷酸多态性SNP）深度学习模型中的自由参数数量。通过参数预测网络学习特征特定的参数嵌入，该方法在15.8k参数下实现7.44%的误分类误差，且在祖先预测任务中表现优于标准深度网络和基于PCA的方法，达到当前最优性能。

ABSTRACT

Learning tasks such as those involving genomic data often poses a serious challenge: the number of input features can be orders of magnitude larger than the number of training examples, making it difficult to avoid overfitting, even when using the known regularization techniques. We focus here on tasks in which the input is a description of the genetic variation specific to a patient, the single nucleotide polymorphisms (SNPs), yielding millions of ternary inputs. Improving the ability of deep learning to handle such datasets could have an important impact in precision medicine, where high-dimensional data regarding a particular patient is used to make predictions of interest. Even though the amount of data for such tasks is increasing, this mismatch between the number of examples and the number of inputs remains a concern. Naive implementations of classifier neural networks involve a huge number of free parameters in their first layer: each input feature is associated with as many parameters as there are hidden units. We propose a novel neural network parametrization which considerably reduces the number of free parameters. It is based on the idea that we can first learn or provide a distributed representation for each input feature (e.g. for each position in the genome where variations are observed), and then learn (with another neural network called the parameter prediction network) how to map a feature's distributed representation to the vector of parameters specific to that feature in the classifier neural network (the weights which link the value of the feature to each of the hidden units). We show experimentally on a population stratification task of interest to medical studies that the proposed approach can significantly reduce both the number of parameters and the error rate of the classifier.

研究动机与目标

• 解决在训练样本远少于高维基因组输入（如数百万个SNP）时深度学习中的过拟合问题。
• 减少神经网络分类器中的自由参数数量，特别是与输入特征数量成比例的第一层全连接层。
• 通过SNP数据提升群体结构化任务的泛化能力和预测性能，这是遗传关联研究中的关键挑战。
• 开发一种适用于精准医学应用的参数高效架构，其中数据维度高但样本量仍有限。

提出的方法

• 提出使用参数预测网络重新参数化全连接层，该网络基于每个输入特征的嵌入表示生成其权重。
• 使用共享嵌入层将每个SNP（特征）编码为分布式向量，独立于其值（如AA、AG、GG），从而避免参数爆炸。
• 训练参数预测网络，使其将每个SNP的嵌入映射到连接该特征与分类器所有隐藏单元的权重向量。
• 引入多任务学习框架，使每个特征的参数生成成为独立但共享的预测任务。
• 将该方法应用于基于1000 Genomes数据集的人群祖先预测任务，比较不同嵌入策略与基线模型的性能。
• 通过重建损失和端到端训练提升嵌入质量与泛化能力，尤其在结合特征嵌入时效果更佳。

实验结果

研究问题

• RQ1 参数高效的神经网络架构能否在高维基因组数据且样本有限的条件下减少深度学习模型的过拟合？
• RQ2 所提出的Diet Network参数化方法在祖先预测准确率上与标准深度网络和基于PCA的降维方法相比如何？
• RQ3 预训练或学习得到的特征嵌入（如SNP2Vec、每类直方图）在保持或提升性能的同时，能在多大程度上减少自由参数数量？
• RQ4 使用从嵌入生成特征特定权重的参数预测网络，是否能比标准全连接层带来更好的泛化性能？
• RQ5 该方法能否有效应用于现实世界的精准医学任务，如群体结构化分析和遗传关联研究？

主要发现

• 采用每类直方图嵌入的Diet Network实现了最低的平均误分类误差7.44% ± 0.45，优于所有其他模型和PCA基线。
• 该方法将自由参数数量减少至仅15.8k，相比标准31.5M参数模型减少了99.95%。
• 表现最佳的模型（每类直方图）在5个人群地理区域层次的祖先预测中接近100%准确率，表明其具备强大的泛化能力。
• 基于PCA的方法需200个主成分才能达到Diet Network（15.8k参数）的性能，凸显了线性降维方法的低效性。
• 在分类器中增加隐藏层并未提升性能，表明该参数高效架构已具备足够的表征能力。
• 结合重建损失与每类直方图嵌入的模型实现了7.44%的误差，表明联合优化嵌入与参数预测可提升模型鲁棒性。