[論文レビュー] DIFER: Differentiable Automated Feature Engineering

Guanghui Zhu, Zhuoer Xu+3 more|arXiv (Cornell University)|Oct 17, 2020

Machine Learning and Data Classification参考文献 19被引用数 4

ひとこと要約

DIFERは、エンコーダー・予測子・デコーダーのフレームワークを用いて連続的ベクトル空間で特徴量探索を実行する、最初の微分可能で自動化された特徴量工学手法を提案する。勾配上昇を用いて特徴量埋め込みを最適化し、それらを再び離散的特徴量に復元することで、先行手法と比較して40倍少ない特徴量評価回数で最先端の性能を達成する。

ABSTRACT

Feature engineering, a crucial step of machine learning, aims to extract useful features from raw data to improve data quality. In recent years, great efforts have been devoted to Automated Feature Engineering (AutoFE) to replace expensive human labor. However, existing methods are computationally demanding due to treating AutoFE as a coarse-grained black-box optimization problem over a discrete space. In this work, we propose an efficient gradient-based method called DIFER to perform differentiable automated feature engineering in a continuous vector space. DIFER selects potential features based on evolutionary algorithm and leverages an encoder-predictor-decoder controller to optimize existing features. We map features into the continuous vector space via the encoder, optimize the embedding along the gradient direction induced by the predicted score, and recover better features from the optimized embedding by the decoder. Extensive experiments on classification and regression datasets demonstrate that DIFER can significantly improve the performance of various machine learning algorithms and outperform current state-of-the-art AutoFE methods in terms of both efficiency and performance.

研究の動機と目的

• 離散的特徴量空間上で動作する従来のAutoFE手法が抱える計算非効率性と特徴量爆発の問題に対処すること。
• 探索プロセスを連続的最適化問題として定式化することで、効率的かつ効果的な自動特徴量工学を可能にすること。
• エンドツーエンドで微分可能な特徴量進化をサポートするエンコーダー・予測子・デコーダー構造に基づく新しい特徴量最適化手法を開発すること。
• 微分可能な特徴量探索が、計算コストを削減しつつモデル性能を顕著に向上させられることを実証すること。
• 多様な機械学習タスクに適用可能な柔軟でスケーラブルな自動特徴量工学フレームワークを提供すること。

提案手法

• 潜在ベクトル空間における連続的最適化を通じて反復的により良い特徴量を生成する進化的フレームワークを提案する。
• 特徴量をパースツリー構造で表現することで、複雑な特徴量変換を柔軟かつ表現力豊かに表現可能にする。
• パースツリーの走査文字列を連続的埋め込みベクトルにマップするエンコーダーを採用する。
• 特徴量の埋め込みに基づいてその性能スコアを推定する予測子ネットワークを用い、勾配ベース最適化を可能にする。
• 埋め込み空間上で勾配上昇を適用して性能を最適化した後、最適化された埋め込みから離散的特徴量を再構築するデコーダーを適用する。
• 特徴量生成プロセス全体を微分可能でエンドツーエンドのフレームワークに統合し、バックプロパゲーションを特徴量構築プロセス全体に適用可能にする。

実験結果

リサーチクエスチョン

• RQ1 連続的潜在空間における微分可能最適化は、離散的探索に比べて自動特徴量工学で優れた性能を発揮できるか？
• RQ2 DIFERの連続的特徴量最適化は、既存のAutoFE手法と比較して、モデル性能と計算効率の面でどのように差をつけるか？
• RQ3 シーケンスベースの手法と比較して、パースツリー表現が特徴量構築の表現力と柔軟性をどの程度向上させるか？
• RQ4 DIFERに組み込まれた勾配ベース特徴量最適化は、異なる機械学習アルゴリズムやデータセットに一般化可能か？
• RQ5 DIFERの性能は、埋め込み空間におけるハイパーパramータの選定や初期化にどの程度敏感か？

主な発見

• DIFERは分類および回帰の25のデータセットのうち22で、最先端のAutoFE手法を性能面で上回った。
• SOTA手法と比較して40倍少ない特徴量評価回数でこの改善を達成し、計算効率を顕著に向上させた。
• 多様なデータセットおよび機械学習モデルにおいて一貫した向上を示し、強力な一般化能力を示した。
• アブレーションスタディにより、微分可能最適化コンponentおよびエンコーダー・予測子・デコーダー構造がDIFERの性能にとって不可欠であることが確認された。
• パースツリーの使用により、シーケンスベース表現と比較してより表現力豊かで柔軟な特徴量構築が可能となり、より効率的で高品質な探索に寄与した。
• DIFERの実装はGitHubで公開されており、再現性とさらなる研究を可能にしている。