[论文解读] A Mathematical Framework for Feature Selection from Real-World Data with Non-Linear Observations

Martin Genzel, Gitta Kutyniok|arXiv (Cornell University)|Aug 31, 2016

Sparse and Compressive Sensing Techniques参考文献 3被引用 7

一句话总结

本文提出了一套数学框架，用于在高维、非线性数据中进行特征选择，其中真实信号变量未被观测到，仅以间接方式编码在观测特征中。该框架在一般非线性观测模型和结构化凸损失下，通过凸优化建立了稀疏信号估计的严格恢复保证，证明即使在不了解模型参数且无法直接访问信号变量的情况下，也能实现准确的变量选择。

ABSTRACT

In this paper, we study the challenge of feature selection based on a relatively small collection of sample pairs $\{(x_i, y_i)\}_{1 \leq i \leq m}$. The observations $y_i \in \mathbb{R}$ are thereby supposed to follow a noisy single-index model, depending on a certain set of signal variables. A major difficulty is that these variables usually cannot be observed directly, but rather arise as hidden factors in the actual data vectors $x_i \in \mathbb{R}^d$ (feature variables). We will prove that a successful variable selection is still possible in this setup, even when the applied estimator does not have any knowledge of the underlying model parameters and only takes the 'raw' samples $\{(x_i, y_i)\}_{1 \leq i \leq m}$ as input. The model assumptions of our results will be fairly general, allowing for non-linear observations, arbitrary convex signal structures as well as strictly convex loss functions. This is particularly appealing for practical purposes, since in many applications, already standard methods, e.g., the Lasso or logistic regression, yield surprisingly good outcomes. Apart from a general discussion of the practical scope of our theoretical findings, we will also derive a rigorous guarantee for a specific real-world problem, namely sparse feature extraction from (proteomics-based) mass spectrometry data.

研究动机与目标

• 开发一种通用的数学框架，用于在信号变量未被观测且仅以间接方式编码在观测数据向量中的情况下进行特征选择。
• 在具有非线性观测和一般凸损失函数的高维设置下，建立稀疏信号估计的理论恢复保证。
• 展示该框架在实际问题中的适用性，特别是在基于质谱的蛋白质组学数据分析中的应用。
• 证明即使估计器对底层模型参数一无所知，且仅能观测到原始样本对 (xi, yi)，变量选择依然可行。

提出的方法

• 将观测数据建模为未知信号因子 (si,k) 与固定特征原子 (ak) 的线性组合，加上噪声：xi = Σk si,k ak + ni。
• 假设响应变量 yi 遵循依赖于隐藏信号变量线性组合的噪声单指数模型：yi ≈ f(⟨si, z0⟩) + 噪声。
• 提出一种凸优化框架，通过观测数据对 (xi, yi) 在结构化约束集 K 上最小化一般凸损失函数。
• 引入通过数据协方差矩阵 Σ 和线性算子 ˜DΣ 的变换，将估计参数 ˆβ 与真实信号向量 z0 关联起来。
• 采用高维概率和几何泛函分析的工具，包括高斯宽度和 Rademacher 复杂度，推导误差界。
• 推导出估计误差 ∥√Σ(ˆz − λ0z0)∥2 的界，其表达式涉及样本量 m、约束集 K 的复杂度以及噪声水平 ε 和 ε0。

实验结果

研究问题

• RQ1 在真实信号变量未被观测且仅以间接方式编码在高维数据中的情况下，准确特征选择在何种条件下可以实现？
• RQ2 在不了解模型参数和底层非线性观测函数的情况下，凸优化方法能否从未知样本对 (xi, yi) 中恢复真实的稀疏信号向量 z0？
• RQ3 所提出方法的性能如何依赖于约束集 K 的结构和数据流形的复杂度？
• RQ4 在具有通用凸损失函数的非线性、高维设置下，可以为变量选择建立哪些理论保证？
• RQ5 该框架能否在真实世界问题中被严格应用，例如在基于质谱的蛋白质组学数据中进行稀疏特征提取？

主要发现

• 本文证明，即使信号变量 si 未被观测且仅以间接方式编码在观测数据向量 xi 中，也能实现对真实稀疏信号向量 z0 的准确恢复。
• 建立了严格的误差界：∥√Σ(ˆz − λ0z0)∥2 ≤ C′ρ,η ⎛⎜⎝(4d(˜DΣK)/m)^1/4 + ε + ε0⎞⎟⎠，表明估计误差随样本量 m 增加而衰减。
• 该框架适用于一般凸损失函数和任意凸信号结构，因此可广泛应用于实际问题，包括 Lasso 和逻辑回归。
• 只要响应变量 yi 满足具有有界噪声的单指数模型，该方法即使在非线性观测和模型不确定性下也能实现恢复。
• 理论结果已在实际问题中得到验证：在基于质谱的蛋白质组学数据中进行稀疏特征提取，展示了其实际相关性。
• 分析表明，该方法对噪声和模型误设具有鲁棒性，性能取决于约束集 K 的高斯宽度和样本量 m。