[论文解读] An Empirical Study on Feature Discretization

Qiang Liu, Zhaocheng Liu+1 more|arXiv (Cornell University)|Apr 27, 2020

Neural Networks and Applications参考文献 12被引用 4

一句话总结

该论文提出了一种新型特征离散化方法——局部线性编码（LLE），通过在离散桶内使用线性插值来提升正确性，同时保持鲁棒性。在HIGGS和SUSY数据集上的实验表明，LLE在显著减少模型参数数量的同时，优于传统的离散化方法和多粒度离散化（MGD），在不同训练数据比例下均实现了最先进性能。

ABSTRACT

When dealing with continuous numeric features, we usually adopt feature discretization. In this work, to find the best way to conduct feature discretization, we present some theoretical analysis, in which we focus on analyzing correctness and robustness of feature discretization. Then, we propose a novel discretization method called Local Linear Encoding (LLE). Experiments on two numeric datasets show that, LLE can outperform conventional discretization method with much fewer model parameters.

研究动机与目标

• 识别机器学习中特征离散化的最优方法，特别是针对连续数值特征。
• 从理论上分析现有离散化技术的正确性和鲁棒性。
• 提出一种新离散化方法，在不牺牲鲁棒性的前提下提升正确性。
• 在与MGD和常见离散化方法相比时，降低模型复杂度，同时保持或提升性能。

提出的方法

• LLE用跨桶边界的线性插值替代每个桶的标准独热嵌入，实现对连续值的更平滑表示。
• 对于每个桶，LLE将预测计算为相邻桶嵌入的加权平均，权重基于特征值在桶内的位置通过线性插值获得。
• 该方法通过保持噪声下预测方差不变，与传统离散化方法一样保持了相同的鲁棒性。
• 正确性得到提升，因为LLE通过更准确逼近潜在函数，降低了真实标签与预测值之间期望平方误差。
• LLE为每个特征字段仅使用一个可学习的权重向量，而MGD需在不同粒度下为每个特征使用多个嵌入。
• 理论分析表明，LLE的正确性误差低于等频或等宽离散化，尤其在桶大小较小时更为明显。

实验结果

研究问题

• RQ1 离散桶的大小如何影响特征离散化的正确性和鲁棒性？
• RQ2 是否存在一种离散化方法能在不降低鲁棒性的情况下提升正确性，相比传统方法？
• RQ3 桶内线性插值是否比固定桶嵌入具有更好的泛化能力？
• RQ4 每个特征字段仅使用一个嵌入是否能优于MGD中跨不同粒度的多个嵌入？
• RQ5 在特征离散化中，模型复杂度与性能之间的权衡是什么？

主要发现

• LLE在所有数据集和训练数据比例下均达到最高性能，优于常见离散化（CD）和多粒度离散化（MGD）。
• 在HIGGS数据集上，LLE使用10个桶时，DNN模型达到87.58%准确率，超过MGD（87.43%）和CD（87.28%）在相同粒度下的表现。
• 在SUSY数据集上，LLE使用10个桶时，DNN模型达到86.62%准确率，超过MGD（86.66%）和CD（86.08%）在相同设置下的表现。
• 在HIGGS数据集上，LLE将模型参数从MGD的162,560减少至仅198，实现100倍的参数量降低。
• LLE在不同训练数据比例（100%、10%、1%）下均保持一致的性能，表明其具有强大的泛化能力和稳定性。
• 理论分析证实，LLE通过降低期望预测误差提升了正确性，而鲁棒性与标准离散化方法相比保持不变。