[论文解读] Concrete Autoencoders for Differentiable Feature Selection and Reconstruction

Abubakar Abid, Muhammad Fatih Balin+1 more|arXiv (Cornell University)|Jan 27, 2019

Gene expression and cancer classification参考文献 24被引用 76

一句话总结

引入一个可微分框架（具体自编码器）用于无监督全局特征选择，使用 Concrete 选择层优化从减少的特征集进行重建。展示在重建和缺失值推断方面的性能提升，包括一个大型 L1000 基因表达案例研究。

ABSTRACT

We introduce the concrete autoencoder, an end-to-end differentiable method for global feature selection, which efficiently identifies a subset of the most informative features and simultaneously learns a neural network to reconstruct the input data from the selected features. Our method is unsupervised, and is based on using a concrete selector layer as the encoder and using a standard neural network as the decoder. During the training phase, the temperature of the concrete selector layer is gradually decreased, which encourages a user-specified number of discrete features to be learned. During test time, the selected features can be used with the decoder network to reconstruct the remaining input features. We evaluate concrete autoencoders on a variety of datasets, where they significantly outperform state-of-the-art methods for feature selection and data reconstruction. In particular, on a large-scale gene expression dataset, the concrete autoencoder selects a small subset of genes whose expression levels can be use to impute the expression levels of the remaining genes. In doing so, it improves on the current widely-used expert-curated L1000 landmark genes, potentially reducing measurement costs by 20%. The concrete autoencoder can be implemented by adding just a few lines of code to a standard autoencoder.

研究动机与目标

• 在无监督设定下识别一组信息量丰富的特征，同时实现对完整数据的重建。
• 开发一个端到端的可微分方法，通过一个松弛、可微分的层来选择离散特征。
• 在不同数据集上使用用户指定数量的特征实现最小重建误差。
• 展示可扩展性和可解释性优势，包括基因表达推断。

提出的方法

• 将 concrete 选择层用作编码器，通过 Concrete 随机变量选择 k 个输入特征。
• 在温度参数 T 上进行训练，随着时间逐步退火，从软选择收敛到离散选择。
• 使用标准的（可能是深层的）解码器从所选特征重建完整输入。
• 利用重参数化技巧在随机特征选择上进行反向传播。
• 可选地与线性或非线性解码器进行比较，以评估重建性能。
• 提供实现指南和公开代码以确保可重复性。

实验结果

研究问题

• RQ1 一个可微分的端到端模型是否能够识别一组输入特征以最小化重建误差？
• RQ2 在 Concrete 选择层中退火温度如何影响特征选择质量和重建性能？
• RQ3 所选特征是否在跨数据集和重建架构（线性与非线性解码器）上具有普适性？
• RQ4 该方法是否可扩展到高维数据和大样本规模（如基因表达）？

主要发现

• Concrete 自编码器在多个数据集的重建任务中稳定地优于其他特征选择方法。
• 使用非线性解码器时，在 ISOLET 等数据集及其他数据集上实现更低的重建误差和更高的分类准确率，比竞争方法更优。
• 使用线性解码器时，Concrete 自编码器在大多数数据集上仍然获得最低的重建误差。
• 在一个大规模的基因表达案例研究中，使用线性解码器选择约 943 个基因，将集合减少到约 750 个基因，同时在插补精度方面保持可比或更高，与标记基因相比表现相当。
• 该方法能够识别相关的特征组（如 MNIST 的局部像素组），并产生可解释的特征簇。
• 代码和实验公开可获得以确保可重复性。