[論文レビュー] SuperTML: Two-Dimensional Word Embedding for the Precognition on Structured Tabular Data

Baohua Sun, Lin Yang+5 more|arXiv (Cornell University)|Feb 26, 2019

Digital Media Forensic Detection参考文献 33被引用数 9

ひとこと要約

SuperTMLは、文字および数字の埋め込みを用いて表形式データを画像に変換する、画期的な2次元単語埋め込み手法を提案する。この手法により、数値の前処理や欠損値の処理を必要とせず、事前学習済み2次元畳み込みニューラルネットワーク（CNN）であるResNet や SE-Net を微調整することで、表形式分類タスクで最先端の性能を達成する。

ABSTRACT

Tabular data is the most commonly used form of data in industry. Gradient Boosting Trees, Support Vector Machine, Random Forest, and Logistic Regression are typically used for classification tasks on tabular data. DNN models using categorical embeddings are also applied in this task, but all attempts thus far have used one-dimensional embeddings. The recent work of Super Characters method using two-dimensional word embeddings achieved the state of art result in text classification tasks, showcasing the promise of this new approach. In this paper, we propose the SuperTML method, which borrows the idea of Super Characters method and two-dimensional embeddings to address the problem of classification on tabular data. For each input of tabular data, the features are first projected into two-dimensional embeddings like an image, and then this image is fed into fine-tuned two-dimensional CNN models for classification. Experimental results have shown that the proposed SuperTML method had achieved state-of-the-art results on both large and small datasets.

研究の動機と目的

• 従来の決定木ベースのモデル（例：XGBoost）に依存する表形式データへの深層学習の適用という課題に対処すること。
• 1次元埋め込み（例：word2vec, fastText）が表形式特徴の構造的・視覚的パターンを捉えるのに限界を示すのを克服すること。
• 特徴量を画像に類似した表現に変換することで、事前学習済み2次元CNNを用いたエンドツーエンド分類を可能にすること。
• カテゴリカル特徴量や欠損値に対する手動による前処理（例：ワンホットエンコーディングや数値補完）の必要性を排除すること。
• スーパーキャラクター手法にインspiredされた2次元埋め込みの可能性を検討し、特徴量の値を視覚的形状として扱うことで表形式データ学習を促進すること。

提案手法

• 各表形式サンプルを、特定の空間的位置（例：カテゴリカル特徴量は左上、数値特徴量は右上）に特徴量のテキストまたは数字列を配置することで2次元画像に変換する。
• カテゴリカル特徴量を完全な単語（例：'blue'）または短縮形（例：'b'）として直接画像グリッドのピクセル値として表現する。
• 数値特徴量を数字文字列（例：'55', '17'）としてエンコードし、指定された画像領域に配置することで視覚的形状を保持する。
• 欠損値は、2次元画像内の事前に定義された位置に' missing' という単語をテキストとして記述することで処理する。
• 生成された画像表現に対して、事前学習済み2次元CNNモデル（例：ResNet, SE-Net, PolyNet）を微調整してエンドツーエンド分類を実現する。
• トレーニング中に画像ファイルをクラスラベルにマッピングするために、画像命名規則（例：'Sunny_0001.jpg'）を用いる。

実験結果

リサーチクエスチョン

• RQ1 2次元単語埋め込みは、従来の1次元埋め込みよりも効果的に表形式データを分類に適した形で表現できるか？
• RQ2 事前学習済み2次元CNNが、画像に類似した特徴表現を通じて、画像分類から表形式データ分類への知識の転送をどの程度成功させるか？
• RQ3 SuperTML手法は、明示的な前処理や埋め込み層を用いずに、カテゴリカル特徴量および欠損値をどのように処理するか？
• RQ4 数字の視覚的類似性（例：6.01 と 5.999）がモデルの汎化性能に悪影響を及えることはないか？また、このような曖昧なケースでのモデルの性能はいかがなものか？
• RQ5 SuperTMLフレームワークは、多様なベンチマーク環境下で、小規模および大規模な表形式データセットの両方で最先端の性能を達成できるか？

主な発見

• SuperTMLは、大規模なKaggleコンペティションおよびUCIの上位3つの表形式データセットで、XGBoost や1次元埋め込み手法を凌駆する最先端の性能を達成した。
• 本手法は、数値変換やワンホットエンコーディング、欠損値補完を一切必要とせず、すべての特徴量を視覚的テキストパターンとして扱うことで、表形式データの分類を成功させた。
• 誤差解析の結果、モデルの分類性能は小数点の数字の視覚的形状に敏感であることが判明した。例として、'6.0' と '5.999' は数値的に近くても視覚的に類似しているため、誤分類を引き起こす可能性がある。
• Irisデータセットでは、値が (6.0, 2.2, 5.0, 1.5) のvirginicaサンプルが、類似した数字の形状を持つトレーニングデータのversicolorサンプルに類似しているため、誤ってversicolorと分類された。
• モデルが数値そのものではなく視覚的外観に依存するため、数字の形状に隠れたパターンを学習できるが、これは数値的に近いが視覚的に異なる値に対して課題を引き起こす可能性がある。
• 本手法は、ドメイン特化のCNNアクセラレータを組み合わせることで、低消費電力のエッジデバイスへの展開にも強い可能性を示している。高精度と低推論コストの両立が可能である。