[论文解读] Autoencoding any Data through Kernel Autoencoders

Pierre Laforgue, Stéphan Clémençon+1 more|arXiv (Cornell University)|May 28, 2018

Image and Signal Denoising Methods参考文献 25被引用 13

一句话总结

本文提出核自编码器（KAEs），一种新颖的框架，通过利用向量值再生核希尔伯特空间（vv-RKHSs）和算子值核（OVKs），将自编码器扩展至任意数据类型。该方法能够在理论保证下，实现对图等结构化数据的端到端非线性低维表示学习，并在分子活性预测任务中取得实证成功。

ABSTRACT

This paper investigates a novel algorithmic approach to data representation based on kernel methods. Assuming that the observations lie in a Hilbert space X, the introduced Kernel Autoencoder (KAE) is the composition of mappings from vector-valued Reproducing Kernel Hilbert Spaces (vv-RKHSs) that minimizes the expected reconstruction error. Beyond a first extension of the autoencoding scheme to possibly infinite dimensional Hilbert spaces, KAE further allows to autoencode any kind of data by choosing X to be itself a RKHS. A theoretical analysis of the model is carried out, providing a generalization bound, and shedding light on its connection with Kernel Principal Component Analysis. The proposed algorithms are then detailed at length: they crucially rely on the form taken by the minimizers, revealed by a dedicated Representer Theorem. Finally, numerical experiments on both simulated data and real labeled graphs (molecules) provide empirical evidence of the KAE performances.

研究动机与目标

• 通过使用核函数将数据嵌入希尔伯特空间，将自编码器从欧几里得空间推广至任意数据类型（如图、字符串或图像）。
• 基于算子值核（OVKs）和向量值再生核希尔伯特空间（vv-RKHSs），开发一种理论基础坚实的非参数化表示学习框架。
• 通过将输入空间视为RKHS，使任何可由相似性矩阵描述的数据都能实现自编码。
• 提供泛化界，并与核主成分分析（Kernel PCA）建立联系，从而将KAEs与成熟的谱方法关联起来。
• 在真实世界结构化数据（特别是分子图）上展示该方法的有效性，其中标准自编码器因缺乏特征向量而失效。

提出的方法

• 将核自编码器（KAE）表述为两个不同vv-RKHS中的编码与解码函数的复合，以最小化期望重建误差。
• 使用算子值核（OVKs）定义编码与解码的函数空间，实现希尔伯特空间之间映射的非参数化学习。
• 推导出KAE目标最小化器的表示定理，证明最优解可表示为核函数的有限线性组合，从而实现在无限维空间中的计算。
• 利用核技巧在不显式映射数据至高维特征空间的情况下计算解，确保计算可行性。
• 将框架应用于输入空间本身即为RKHS的数据（如通过图核表示的图），从而实现对结构化对象的自编码。
• 采用两阶段学习流程：首先，使用相似性核将输入数据映射至RKHS；其次，应用KAE学习低维表示。

实验结果

研究问题

• RQ1 能否通过核方法和希尔伯特空间嵌入，将自编码器推广至欧几里得向量之外的任意数据类型？
• RQ2 如何在无限维希尔伯特空间中利用算子值核表述并求解自编码器目标？
• RQ3 所提出的KAE框架的泛化性能如何？其与现有方法（如核主成分分析）有何关联？
• RQ4 KAE能否有效学习结构化数据（如分子图）的解耦且具有判别性的表示？
• RQ5 在分子活性预测任务中，KAE相较于标准基线方法（如KRR、KPCA + RF）在重建误差和预测性能方面表现如何？

主要发现

• KAE框架在分子活性预测任务中达到最先进性能，其中K² AE 50 + RF策略在59种癌症类型中均取得最低平均NMSE。
• 在NCI-59数据集上，K² AE 50 + RF模型在全部59种癌症类型中平均NMSE为0.0286，优于KRR（0.0299）和KPCA + RF基线。
• KAE学习到的1D和2D表示能够解耦复杂的结构，如两个月牙形和同心圆，同时保持簇内可变性与簇间分离性。
• 理论分析建立了泛化界，并揭示了KAE与核主成分分析之间的强关联：在特定条件下，KAE可恢复与之相似的低维子空间。
• 该方法成功实现了无需手工特征工程的分子图自编码，证明其在标准自编码器失效的数据类型中的适用性。
• 数值实验确认，即使输入数据本身并非自然向量形式（如在化学信息学中），KAE仍能学习到有意义的低维表示。