[論文レビュー] Hopular: Modern Hopfield Networks for Tabular Data

Bernhard Schäfl, Lukas Gruber+2 more|arXiv (Cornell University)|Jun 1, 2022

Advanced Neural Network Applications被引用数 12

ひとこと要約

Hopularは、各層で外部記憶として現代的な連続ホフリートネットワークを統合する、表形式データ向けの新しい深層学習アーキテクチャを提案する。これにより、全訓練セットにアクセスして予測を繰り返し改善できる。中規模の表形式データセット（例：硫黄、MSE 1.04±0.02）ではXGBoost、CatBoost、LightGBM、その他の深層学習モデルを上回り、小規模データセットでは勾配ブースティングを上回り、記憶拡張型で繰り返し学習を行うことで最先端の性能を達成した。

ABSTRACT

While Deep Learning excels in structured data as encountered in vision and natural language processing, it failed to meet its expectations on tabular data. For tabular data, Support Vector Machines (SVMs), Random Forests, and Gradient Boosting are the best performing techniques with Gradient Boosting in the lead. Recently, we saw a surge of Deep Learning methods that were tailored to tabular data but still underperform compared to Gradient Boosting on small-sized datasets. We suggest "Hopular", a novel Deep Learning architecture for medium- and small-sized datasets, where each layer is equipped with continuous modern Hopfield networks. The modern Hopfield networks use stored data to identify feature-feature, feature-target, and sample-sample dependencies. Hopular's novelty is that every layer can directly access the original input as well as the whole training set via stored data in the Hopfield networks. Therefore, Hopular can step-wise update its current model and the resulting prediction at every layer like standard iterative learning algorithms. In experiments on small-sized tabular datasets with less than 1,000 samples, Hopular surpasses Gradient Boosting, Random Forests, SVMs, and in particular several Deep Learning methods. In experiments on medium-sized tabular data with about 10,000 samples, Hopular outperforms XGBoost, CatBoost, LightGBM and a state-of-the art Deep Learning method designed for tabular data. Thus, Hopular is a strong alternative to these methods on tabular data.

研究の動機と目的

• 小規模および中規模の表形式データセットにおいて、XGBoost やランダムフォレストといった従来のモデルが優勢であるという、深層学習の持続的な性能格差を是正すること。
• 各層で全訓練セットに直接アクセスできるように設計された、深層学習アーキテクチャを構築すること。
• 表形式データの特徴-特徴、特徴-ターゲット、サンプル-サンプル間の依存関係をモデル化するために、現代的なホフリートネットワークを連続的外部記憶として活用すること。
• ベンチマーク表形式データセットにおいて、XGBoost、CatBoost、LightGBM、および特化した深層学習モデルと同等以上の性能を発揮すること。
• 記憶拡張型で繰り返し推論を行う深層学習が、データが少ない状況でも勾配ブースティングと同等またはそれを上回ることを示すこと。

提案手法

• Hopularの各層には、全訓練セットから情報を保存・取得する現代的な連続ホフリートネットワークが統合されており、動的記憶アクセスを可能にしている。
• ホフリートネットワークは、保存されたパターンに対するエネルギーに基づくアテンションを計算し、各層が全訓練サンプルからの文脈的情報を用いて表現を更新できるようにしている。
• バックプロパゲーションを用いたエンドツーエンド学習が可能であり、モデルは繰り返し学習アルゴリズムを模倣する形で、複数の層を通じて予測を改善する学習を行う。
• 特徴表現は、関連する訓練サンプルに注目することで各層で更新され、特徴間およびサンプル間の依存関係を捉える。
• 連続的で微分可能な記憶メカニズムを統合し、保存されたパターンおよびアテンション重みの勾配ベース最適化を可能にしている。
• モデルは標準的な深層学習目的関数（例：交差エントロピー、MSE）を用いて学習され、アテンションゲートにより特徴およびサンプルの選択的利用が可能になっている。

実験結果

リサーチクエスチョン

• RQ1 連続的外部記憶を備えた深層学習モデルは、小規模な表形式データセットにおいて勾配ブースティングを上回ることができるか？
• RQ2 現代的なホフリートネットワークの統合は、表形式データにおける特徴およびサンプル表現学習をどのように改善するか？
• RQ3 記憶へのアクセスによる繰り返し改善は、データが少ない表形式データセットにおける一般化性能を向上させるか？
• RQ4 記憶拡張型の深層学習アーキテクチャは、中規模データセットにおいてXGBoost や LightGBM といった最先端の表形式モデルと同等またはそれ以上の性能を発揮できるか？
• RQ5 各層で全訓練セットへの直接アクセスが、モデルの精度および一般化性能に与える影響は何か？

主な発見

• 中規模の表形式データセット（例：硫黄、大学、目）では、Hopularは6つのデータセットのうち3つで最高性能を記録し、中央順位が1.5に達し、XGBoost、CatBoost、LightGBM、NPTsを上回った。
• 硫黄回帰データセットでは、HopularはMSE 1.04±0.02を達成し、XGBoost（1.23±0.00）およびCatBoost（1.06±0.01）を顕著に上回った。
• 大学回帰データセットでは、Hopularは21.18±0.09 MSEを達成し、XGBoost（30.47±0.00）およびLightGBM（25.64±0.09）を上回った。
• shrutimeおよびblastchar二値分類タスクでは、Hopularはそれぞれ86.12±0.09%および80.05±0.11%の正解率を記録し、XGBoostおよびLightGBMを上回った。
• NPTsと比較して、Hopularは全訓練セットへのアクセスにもかかわらず、顕著に少ないメモリを要した。
• 実行時間の推定結果から、Hopularは計算的に実行可能であり、小規模〜中規模データセットでは性能向上が計算コストを上回ることが示された。