[論文レビュー] LM-IGTD: a 2D image generator for low-dimensional and mixed-type tabular data to leverage the potential of convolutional neural networks

Vanesa Gómez-Martínez, Francisco J. Lara-Abelenda+4 more|arXiv (Cornell University)|Apr 26, 2024

Seismic Imaging and Inversion TechniquesEarth and Planetary Sciences被引用数 3

ひとこと要約

LM-IGTD は、確率的ノイズ生成と改変された IGTD アプローチを用いて特徴表現を向上させる、低次元および混合型の表形式データ向けの新しい 2D 画像生成手法である。特徴の整合性を保ちながら高精度な CNN に基づく分類を可能にし、特徴マッピングと Grad-CAM を通じた解釈可能性を実現し、12 個のデータセットのうち 5 個で従来の機械学習モデルを上回る性能を発揮する。

ABSTRACT

Tabular data have been extensively used in different knowledge domains. Convolutional neural networks (CNNs) have been successfully used in many applications where important information about data is embedded in the order of features (images), outperforming predictive results of traditional models. Recently, several researchers have proposed transforming tabular data into images to leverage the potential of CNNs and obtain high results in predictive tasks such as classification and regression. In this paper, we present a novel and effective approach for transforming tabular data into images, addressing the inherent limitations associated with low-dimensional and mixed-type datasets. Our method, named Low Mixed-Image Generator for Tabular Data (LM-IGTD), integrates a stochastic feature generation process and a modified version of the IGTD. We introduce an automatic and interpretable end-to-end pipeline, enabling the creation of images from tabular data. A mapping between original features and the generated images is established, and post hoc interpretability methods are employed to identify crucial areas of these images, enhancing interpretability for predictive tasks. An extensive evaluation of the tabular-to-image generation approach proposed on 12 low-dimensional and mixed-type datasets, including binary and multi-class classification scenarios. In particular, our method outperformed all traditional ML models trained on tabular data in five out of twelve datasets when using images generated with LM-IGTD and CNN. In the remaining datasets, LM-IGTD images and CNN consistently surpassed three out of four traditional ML models, achieving similar results to the fourth model.

研究の動機と目的

• 空間的構造がなく、データスパarsity に苦しむ低次元および混合型の表形式データに畳み込みニューラルネットワーク（CNN）を適用する課題に対処すること。
• 特徴次元数が不足し、画像品質が低いことが原因で、従来の表形式データから画像への変換手法が低次元および混合特徴データセットで性能を発揮できないという限界を克服すること。
• 元の表形式特徴から生成された画像へのマッピングを可能にし、Grad-CAM などの技術を用いた後処理による解釈可能性を実現するエンドツーエンドで解釈可能なパイプラインを開発すること。
• 元の特徴との強い相関を維持しながら、データ次元を確率的ノイズ生成によって向上させ、データ構造を保存し、CNN の性能を向上させること。

提案手法

• 低次元の表形式データセットの次元を人工的に増加させるために確率的ノイズ生成を統合し、データスパarsity を軽減し、画像の代表性を向上させること。
• 数値特徴とカテゴリカル特徴の両方に特化した距離測定法を適用することで、表形式データ用画像生成器（IGTD）手法を改変し、混合型データを効果的に処理すること。
• 元の表形式特徴と生成された 2D 画像内の対応するピクセル領域との間の正確なマッピングを確立し、特徴レベルでの解釈可能性を可能にすること。
• Grad-CAM などの後処理による解釈技術を適用し、CNN の注目領域を可視化し、予測に最も寄与する画像領域を特定すること。
• 生成された画像に畳み込みニューラルネットワークベースの分類器を適用し、CNN が有する空間的特徴学習能力を活用して予測性能を評価すること。
• 再現可能性と利用可能性を確保するため、データ前処理、画像生成、モデル学習、解釈可能性分析を含むエンドツーエンドのパイプライン自動化を実施すること。

Figure 1 : Workflow of proposed methodology.

実験結果

リサーチクエスチョン

• RQ1 表形式データから画像への変換手法は、従来の画像生成アプローチで未だあまり検討が行われていない低次元および混合型の表形式データセットを効果的に処理できるか？
• RQ2 確率的ノイズ生成は、表形式データに対する CNN 学習のための画像品質と情報量をどの程度向上させるか？
• RQ3 提案手法は、元の特徴とその画像表現との間の構造的関係をどの程度正確に保持できるか？
• RQ4 特徴マッピングと Grad-CAM の統合により、生成された表形式データ画像を学習した CNN のモデル解釈性はどの程度向上するか？
• RQ5 LM-IGTD で生成された画像を用いることで、従来の機械学習モデルと比較して、表形式データに対して優れたまたは競争力のある性能が得られるか？

主な発見

• LM-IGTD は、生成された画像に CNN を適用した結果、12 個の評価データセットのうち 5 個で、元の表形式データに訓練されたすべての従来の機械学習モデルを上回った。
• 残りの 7 個のデータセットにおいても、LM-IGTD と CNN を用いた手法は、4 つの従来モデルのうち 3 つを常に上回り、最良のベースラインモデルと同等の性能を達成した。
• 元のデータ構造を保持する相関のある合成ノイズ特徴を導入することで、低次元データセットからでも高品質な画像を効果的に生成できた。
• 特徴からピクセルへのマッピングにより、生成された画像内での元の特徴の正確な局所化が可能になり、モデルの解釈性が向上した。
• Grad-CAM の可視化結果から、CNN が 'Course' のような重要な元の特徴に対応する画像領域に注目していることが確認された（Tae データセットの例）。
• 数値特徴とカテゴリカル特徴の両方に特化した距離測定法の統合により、混合型データにおけるペアワイズ距離の正確な計算が可能になり、画像表現の忠実性が向上した。

Correlation matrix with HoNG (Ionos)