[论文解读] LM-IGTD: a 2D image generator for low-dimensional and mixed-type tabular data to leverage the potential of convolutional neural networks

Vanesa Gómez-Martínez, Francisco J. Lara-Abelenda+4 more|arXiv (Cornell University)|Apr 26, 2024

Seismic Imaging and Inversion TechniquesEarth and Planetary Sciences被引用 3

一句话总结

LM-IGTD 是一种针对低维和混合类型表格数据的新型二维图像生成方法，通过随机噪声生成和改进的 IGTD 方法增强特征表示。该方法通过保持特征完整性，实现基于 CNN 的高性能分类，支持通过特征映射和 Grad-CAM 实现可解释性，在 12 个数据集中的 5 个上优于传统机器学习模型。

ABSTRACT

Tabular data have been extensively used in different knowledge domains. Convolutional neural networks (CNNs) have been successfully used in many applications where important information about data is embedded in the order of features (images), outperforming predictive results of traditional models. Recently, several researchers have proposed transforming tabular data into images to leverage the potential of CNNs and obtain high results in predictive tasks such as classification and regression. In this paper, we present a novel and effective approach for transforming tabular data into images, addressing the inherent limitations associated with low-dimensional and mixed-type datasets. Our method, named Low Mixed-Image Generator for Tabular Data (LM-IGTD), integrates a stochastic feature generation process and a modified version of the IGTD. We introduce an automatic and interpretable end-to-end pipeline, enabling the creation of images from tabular data. A mapping between original features and the generated images is established, and post hoc interpretability methods are employed to identify crucial areas of these images, enhancing interpretability for predictive tasks. An extensive evaluation of the tabular-to-image generation approach proposed on 12 low-dimensional and mixed-type datasets, including binary and multi-class classification scenarios. In particular, our method outperformed all traditional ML models trained on tabular data in five out of twelve datasets when using images generated with LM-IGTD and CNN. In the remaining datasets, LM-IGTD images and CNN consistently surpassed three out of four traditional ML models, achieving similar results to the fourth model.

研究动机与目标

• 解决将卷积神经网络（CNN）应用于缺乏空间结构且存在数据稀疏性的低维和混合类型表格数据的挑战。
• 克服现有表格转图像方法在低维和多特征数据集上表现不佳的问题，原因在于特征维度不足和图像质量差。
• 开发一个端到端、可解释的流程，将原始表格特征映射到生成的图像，并通过 Grad-CAM 等技术实现事后可解释性。
• 通过随机噪声生成增强数据集维度，同时保持与原始特征的强相关性，以维持数据结构并提升 CNN 性能。

提出的方法

• 整合随机噪声生成，以人工方式增加低维表格数据集的维度，缓解数据稀疏性问题并提升图像的代表性。
• 针对数值型和类别型特征，采用类型特定的距离度量方法改进图像生成器用于表格数据（IGTD）方法，以有效处理混合类型数据。
• 在原始表格特征与其在生成的二维图像中对应像素区域之间建立精确映射，以实现特征级别的可解释性。
• 应用事后可解释性技术（如 Grad-CAM）可视化 CNN 中的关注区域，识别对预测贡献最大的图像区域。
• 在生成的图像上使用基于 CNN 的分类器评估预测性能，利用 CNN 的空间特征学习能力。
• 确保端到端流程的自动化，包括数据预处理、图像生成、模型训练和可解释性分析，以保障可复现性和可用性。

Figure 1 : Workflow of proposed methodology.

实验结果

研究问题

• RQ1 表格转图像转换方法是否能有效处理现有图像生成方法中研究不足的低维和混合类型表格数据集？
• RQ2 随机噪声生成在多大程度上提升了生成图像的质量与信息量，以支持基于 CNN 的表格数据学习？
• RQ3 所提出方法在多大程度上保留了原始特征与其图像表示之间的结构关系？
• RQ4 特征映射与 Grad-CAM 的集成是否能增强在生成的表格图像上训练的 CNN 模型的可解释性？
• RQ5 使用 LM-IGTD 生成的图像是否能在表格数据上实现优于或具有竞争力的性能，相较于传统机器学习模型？

主要发现

• 在 12 个评估数据集中的 5 个上，LM-IGTD 在基于生成图像的 CNN 上的表现优于所有在原始表格数据上训练的传统机器学习模型。
• 在其余 7 个数据集上，LM-IGTD 与 CNN 的组合始终优于四个传统模型中的三个，性能与表现最佳的基线模型相当。
• 该方法即使在低维数据集上也能成功生成高质量图像，通过引入合成的、具有相关性的噪声特征，有效保留了数据结构。
• 特征到像素的映射实现了对生成图像中原始特征的精确定位，显著提升了模型的可解释性。
• Grad-CAM 可视化结果证实，CNN 聚焦于与重要原始特征（如 Tae 数据集中的 'Course'）相对应的相关图像区域。
• 对数值型和类别型特征采用类型特定的距离度量，实现了准确的成对距离计算，提升了混合类型数据中图像表示的真实性。

Correlation matrix with HoNG (Ionos)