[论文解读] Out-of-Sample Extrapolation with Neuron Editing

Matthew Amodio, David van Dijk+3 more|arXiv (Cornell University)|May 30, 2018

Cell Image Analysis Techniques参考文献 42被引用 5

一句话总结

本文提出神经元编辑（neuron editing）方法，通过在自编码器的潜在空间中编辑神经元激活，学习可泛化的治疗效应，从而在图像和单细胞生物数据中实现准确的样本外外推。该方法在保持真实方差和更真实地建模复杂、上下文感知的变换方面，优于基于 GAN 的方法。

ABSTRACT

While neural networks can be trained to map from one specific dataset to another, they usually do not learn a generalized transformation that can extrapolate accurately outside the space of training. For instance, a generative adversarial network (GAN) exclusively trained to transform images of black-haired men to blond-haired men might not have the same effect on images of black-haired women. This is because neural networks are good at generation within the manifold of the data that they are trained on. However, generating new samples outside of the manifold or extrapolating "out-of-sample" is a much harder problem that has been less well studied. To address this, we introduce a technique called neuron editing that learns how neurons encode an edit for a particular transformation in a latent space. We use an autoencoder to decompose the variation within the dataset into activations of different neurons and generate transformed data by defining an editing transformation on those neurons. By performing the transformation in a latent trained space, we encode fairly complex and non-linear transformations to the data with much simpler distribution shifts to the neuron's activations. We motivate our technique on an image domain and then move to our two main biological applications: removal of batch artifacts representing unwanted noise and modeling the effect of drug treatments to predict synergy between drugs.

研究动机与目标

• 解决神经网络在训练数据流形之外泛化治疗效应方面的局限性。
• 在仅部分样本在治疗后被测量的生物数据中，建模依赖上下文的治疗效应。
• 开发一种学习通用编辑函数的方法，适用于未见数据，而非记忆特定数据分布。
• 通过从部分治疗数据外推，实现对单细胞组学中组合药物效应的准确预测。
• 证明在去噪的非线性潜在空间中进行编辑，相比在原始空间进行生成建模，能产生更真实且可泛化的变换。

提出的方法

• 在群体中部分样本的治疗前和治疗后数据上训练正则化自编码器，以学习联合的非线性流形表示。
• 提取瓶颈层中每个神经元在治疗前与治疗后样本激活分布的差异。
• 将这些学习到的激活偏移应用到其余群体的治疗前数据的潜在表示上，以生成合成的治疗后数据。
• 使用解码器将编辑后的潜在表示重构回原始数据空间，生成变换后的样本。
• 利用自编码器的去噪特性，确保编辑作用于有意义的低维特征而非噪声。
• 在潜在空间中逐节点进行编辑，通过在抽象特征上施加简单的分布偏移，实现复杂非线性变换。

实验结果

研究问题

• RQ1 我们能否学习一种可泛化的治疗效应编辑函数，使其能外推至训练数据流形之外？
• RQ2 在样本外外推过程中，神经元编辑与基于 GAN 的生成方法相比，在保持真实数据方差方面表现如何？
• RQ3 神经元编辑能否准确建模单细胞组学数据中依赖上下文的治疗效应，如药物协同作用？
• RQ4 在去噪的非线性潜在空间中进行编辑，是否相比在原始空间生成，能提升生成数据的真实性和准确性？
• RQ5 神经元编辑在高维生物数据中，能在不引入虚假变化的前提下，多大程度上建模微小、有针对性的特征变化？

主要发现

• 在复杂高维生物数据中，神经元编辑比基于 GAN 的方法更准确地预测所有维度上真实均值的变化。
• 神经元编辑更好地保持了数据的真实方差，而 GAN 生成的数据方差始终低于真实治疗后样本中的观测值。
• 在图像数据中，神经元编辑生成了具有上下文感知意义的合理编辑，反映了实际变换；而 GAN 无法泛化至训练流形之外。
• 在组合药物治疗预测中，神经元编辑正确地建模了 p4EBP1（关键生物标志物）的水平位移，且未引入 pSTATS 的虚假垂直变化。
• 正则化自编码器基线模型即使修改内部激活，也无法产生任何有意义的变换，这是由于其重建惩罚机制所致。
• 尽管 GAN 使用了残差连接，仍无法复现真实目标分布的二维切片，表明其未学习到正确的变换。