[论文解读] Implicit Kernel Learning

Chunliang Li, Wei-Cheng Chang+3 more|arXiv (Cornell University)|Feb 26, 2019

Generative Adversarial Networks and Image Synthesis被引用 28

一句话总结

该论文提出隐式核学习（IKL），一种利用深度神经网络通过隐式生成建模来学习平移不变核谱分布的方法。通过训练神经网络将基分布中的样本转换为有效的谱特征，IKL 实现了数据驱动的核学习，在最大均值差异生成对抗网络（MMD GANs）和随机厨具（Random Kitchen Sinks）的监督学习中表现优越，优于启发式方法和现有的最先进核学习方法。

ABSTRACT

Kernels are powerful and versatile tools in machine learning and statistics. Although the notion of universal kernels and characteristic kernels has been studied, kernel selection still greatly influences the empirical performance. While learning the kernel in a data driven way has been investigated, in this paper we explore learning the spectral distribution of kernel via implicit generative models parametrized by deep neural networks. We called our method Implicit Kernel Learning (IKL). The proposed framework is simple to train and inference is performed via sampling random Fourier features. We investigate two applications of the proposed IKL as examples, including generative adversarial networks with MMD (MMD GAN) and standard supervised learning. Empirically, MMD GAN with IKL outperforms vanilla predefined kernels on both image and text generation benchmarks; using IKL with Random Kitchen Sinks also leads to substantial improvement over existing state-of-the-art kernel learning algorithms on popular supervised learning benchmarks. Theory and conditions for using IKL in both applications are also studied as well as connections to previous state-of-the-art methods.

研究动机与目标

• 为解决核方法中核选择这一长期存在的挑战，该挑战显著影响经验性能。
• 开发一种数据驱动、灵活的框架，用于学习超越预定义或参数化模型的核谱分布。
• 通过深度神经网络对谱特征进行隐式生成建模，实现有效的核学习。
• 为所提方法在核学习应用中的理论一致性与泛化保证提供理论支持。
• 在两个关键应用中展示 IKL 的有效性：MMD GANs 和使用随机厨具的监督学习。

提出的方法

• IKL 通过学习一个神经变换 $ h_{\psi} $ 来建模平移不变核的谱分布，该变换将来自基分布 $ \mathbb{P}(\nu) $ 的样本映射为有效的谱特征。
• 核通过 $ k_{\psi}(x,x') = \mathbb{E}_{\omega \sim \mathbb{P}_k}[e^{i\omega^\top(x-x')}] $ 隐式定义，其中 $ \omega = h_{\psi}(\nu) $，且 $ \nu \sim \mathbb{P}(\nu) $。
• 通过从学习到的变换中采样随机傅里叶特征进行推理，实现高效的核近似。
• 该方法通过在任务特定目标（如 MMD 或核对齐）上使用随机梯度下降（SGD）进行训练，无需显式建模谱分布的概率密度。
• 理论分析通过 Rademacher 复杂度建立了一致性和泛化界，表明其依赖于假设类的复杂度和随机特征的数量。
• 该框架与现有核学习技术（如核嵌入和混合模型）兼容，支持混合方法的构建。

实验结果

研究问题

• RQ1 通过深度网络对谱分布进行隐式生成建模，是否能比预定义或参数化谱模型带来更有效的核学习？
• RQ2 IKL 是否能提升生成建模任务（如图像和文本生成中的 MMD GANs）的性能？
• RQ3 IKL 是否能增强使用随机厨具的监督学习，与最先进核学习方法相比表现如何？
• RQ4 在核学习应用中，IKL 的一致性和泛化性可建立哪些理论保证？
• RQ5 学习谱特征变换函数的灵活性，与直接优化随机特征相比有何差异？

主要发现

• 在图像和文本生成基准的 MMD GANs 中，IKL 显著优于基线预定义核，表现出更优的样本质量和多样性。
• 在使用随机厨具的监督学习中，IKL 在标准基准上显著优于现有最先进核学习算法。
• 理论分析表明，IKL 的泛化误差依赖于假设类的 Rademacher 复杂度和随机特征数量，在温和条件下具有一致性保证。
• 尽管方法简单且通过 SGD 端到端训练，IKL 的性能仍与直接优化随机特征或谱密度的先前工作相当或更优。
• IKL 实现了一种新范式：谱采样过程被隐式学习，无需显式密度建模，从而实现更强大且自适应的核。
• 该框架与现有核学习技术（如核嵌入和混合模型）兼容，表明其具有广泛适用性，并具备良好的集成潜力。