[论文解读] High-Dimensional Non-Linear Variable Selection through Hierarchical Kernel Learning

Francis Bach|ArXiv.org|Sep 4, 2009

Domain Adaptation and Few-Shot Learning参考文献 82被引用 56

一句话总结

本文提出了一种分层核学习框架，用于高维非线性变量选择，通过将指数数量的基核嵌入有向无环图（DAG），实现在多项式时间内高效诱导稀疏性的优化。该方法即使在无关变量数量随样本量呈指数增长的情况下，也能实现一致的变量选择，在合成数据集和UCI数据集上优于当前最先进的方法。

ABSTRACT

We consider the problem of high-dimensional non-linear variable selection for supervised learning. Our approach is based on performing linear selection among exponentially many appropriately defined positive definite kernels that characterize non-linear interactions between the original variables. To select efficiently from these many kernels, we use the natural hierarchical structure of the problem to extend the multiple kernel learning framework to kernels that can be embedded in a directed acyclic graph; we show that it is then possible to perform kernel selection through a graph-adapted sparsity-inducing norm, in polynomial time in the number of selected kernels. Moreover, we study the consistency of variable selection in high-dimensional settings, showing that under certain assumptions, our regularization framework allows a number of irrelevant variables which is exponential in the number of observations. Our simulations on synthetic datasets and datasets from the UCI repository show state-of-the-art predictive performance for non-linear regression problems.

研究动机与目标

• 解决在传统线性方法因复杂交互作用而失效的高维设置下，非线性变量选择的挑战。
• 通过利用自然的分层结构，克服从指数数量的非线性核中选择的计算不可行性。
• 基于图自适应范数构建一种诱导稀疏性的正则化框架，将有效稀疏模式限制在与DAG兼容的范围内。
• 在高维渐近条件下建立变量选择的理论一致性，允许无关变量数量随样本量呈指数增长。
• 通过在合成数据集和UCI基准数据集上的大量模拟实验，展示在非线性回归任务中的最先进预测性能。

提出的方法

• 使用由输入变量子集或{0,…,q}^p中的多维索引标记的正定基核之和来建模非线性相互作用。
• 将基核集合嵌入有向无环图（DAG）中，以利用变量相互作用之间的分层关系。
• 引入一种基于DAG中父子关系上ℓ2-范数组合的图自适应稀疏诱导范数，以控制核的选择。
• 将优化问题表述为带正则化项的多核学习任务，该正则化项在DAG结构化的核空间中促进稀疏选择。
• 通过利用DAG结构避免对所有可能核组合进行暴力枚举，设计一种多项式时间的核选择算法。
• 利用表示定理和希尔伯特正则化，在保持计算可行性的同时，工作于隐式特征空间。

实验结果

研究问题

• RQ1 我们能否在输入维数呈指数增长的潜在交互作用数量下，高效地执行高维设置中的非线性变量选择？
• RQ2 如何构建非线性核的空间结构，以实现在多项式时间内选择核，同时保持统计一致性？
• RQ3 何种正则化框架能够在无关变量数量随观测数呈指数增长时，实现一致的变量选择？
• RQ4 基于DAG的核嵌入是否能相比标准多核学习，同时提升计算效率和预测性能？
• RQ5 该方法在不发生过拟合的前提下，能在多大程度上适应复杂且高阶的交互作用，特别是在高维情形下？

主要发现

• 所提出的方法通过利用DAG结构，实现在指数数量基核上的多项式时间核选择，避免了难以处理的枚举。
• 理论分析表明，在适当假设下，即使无关变量数量随观测数呈指数增长，该方法仍能实现一致的变量选择。
• 该框架允许选择最高阶为p的非线性相互作用，包括p个变量的所有可能子集，这对实现普遍一致性是必要的。
• 在合成数据集和UCI数据集上的实证结果表明，该方法在非线性回归任务中实现了最先进水平的预测性能。
• 通过将诱导稀疏性的正则化与高维隐式特征空间中的核学习相结合，该方法实现了强大的泛化能力。
• 推导出了估计误差和特征值稳定性的理论界，表明该方法在模型误设和有限样本效应下仍保持鲁棒性。