[論文レビュー] AutoCross: Automatic Feature Crossing for Tabular Data in Real-World Applications

Yuanfei Luo, Mengshuo Wang+6 more|arXiv (Cornell University)|Apr 29, 2019

Data Mining Algorithms and Applications参考文献 42被引用数 8

ひとこと要約

AutoCross は、分類変数からの高次相互作用特徴量を効率的に生成するために、木構造の空間におけるビームサーチを用いた、表形式データ向けの自動特徴量交差システムである。最小限のユーザーの専門知識で線形モデルおよびディープラーニングモデルの両方を向上させ、低遅延の推論と分散環境におけるスケーラビリティを維持しながら顕著な性能向上を達成する。

ABSTRACT

Feature crossing captures interactions among categorical features and is useful to enhance learning from tabular data in real-world businesses. In this paper, we present AutoCross, an automatic feature crossing tool provided by 4Paradigm to its customers, ranging from banks, hospitals, to Internet corporations. By performing beam search in a tree-structured space, AutoCross enables efficient generation of high-order cross features, which is not yet visited by existing works. Additionally, we propose successive mini-batch gradient descent and multi-granularity discretization to further improve efficiency and effectiveness, while ensuring simplicity so that no machine learning expertise or tedious hyper-parameter tuning is required. Furthermore, the algorithms are designed to reduce the computational, transmitting, and storage costs involved in distributed computing. Experimental results on both benchmark and real-world business datasets demonstrate the effectiveness and efficiency of AutoCross. It is shown that AutoCross can significantly enhance the performance of both linear and deep models.

研究の動機と目的

• 実世界のビジネス応用における表形式データの分類変数から高次相互作用特徴量を自動生成すること。
• 特徴量工学における機械学習の専門知識とハイパーパrameterチューニングの必要性を低減すること。
• 計算、ストレージ、通信コストを低く抑える分散コンピューティング環境で効率的かつスケーラブルな特徴量交差を実現すること。
• 効果的で解釈可能な特徴量交差を通じて、線形モデルおよびディープラーニングモデルの性能を向上させること。
• 高スループットの生産環境でのオンラインデプロイに適した低推論遅延を確保すること。

提案手法

• AutoCross は、高次相互作用特徴量を効率的に探索・生成するために、木構造の空間におけるビームサーチを用いる。
• 特徴量選択の最適化に逐次ミニバッチ勾配降下法を採用し、訓練効率を向上させる。
• 多スケール離散化を適用して、異なる抽象度レベルの分類特徴量を処理し、特徴量表現を強化する。
• 分散コンピューティングに最適化された設計により、大規模な展開におけるデータ送信およびストレージコストを最小限に抑える。
• 手動による特徴量工学や広範なハイパーパrameterチューニングを必要とせず、相互作用特徴量を生成する。
• 線形モデル（例：LR）およびディープラーニングモデル（例：Wide & Deep、xDeepFM）とシームレスに統合可能で、エンドツーエンドの性能向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 特徴量交差を自動化することで、熟練の専門的関与なしにモデル性能を顕著に向上させられるか？
• RQ2 大規模かつ分散環境において、高次特徴量交差を効率的に探索・選択するにはどうすればよいか？
• RQ3 分散環境における特徴量生成の計算、ストレージ、通信コストを低減するにはどのような技術が有効か？
• RQ4 実世界のデプロイ環境において、自動生成された特徴量交差の推論遅延は、ディープラーニングベースの代替手法と比べてどうか？
• RQ5 自動特徴量交差は、生産環境で高い効果を発揮しながらも、単純さと解釈可能性を維持できるか？

主な発見

• AutoCross は、ベンチマークおよび実世界の表形式データセットにおいて、線形モデルおよびディープラーニングモデルの両方の性能を顕著に向上させた。
• Criteo データセットでは、AutoCross が 3.08 時間で学習を完了したのに対し、次善の手法は 5.19 時間を要した。
• Criteo データセットにおける AC+LR の推論遅延は 0.00156 ms にまで低下し、xDeepFM よりも 100 倍以上速かった。
• AutoCross は xDeepFM よりも高速な推論を達成した。Criteo データセットでは xDeepFM が 0.18985 ms を要したのに対し、AC+LR はわずか 0.00156 ms であった。
• AutoCross は優れたスケーラビリティを示し、最大 5.19 時間の特徴量生成時間を持つ実世界のビジネスデータセットを処理しながらも、ベースラインを上回った。
• 逐次ミニバッチ勾配降下法と多スケール離散化の活用により、複雑さを増すことなく、訓練効率とモデル効果が向上した。