[論文レビュー] Large Language Models for Automated Data Science: Introducing CAAFE for Context-Aware Automated Feature Engineering

Noah Hollmann, Samuel Müller+1 more|arXiv (Cornell University)|May 5, 2023

Topic Modeling被引用数 6

ひとこと要約

本論文では、データセットの説明をもとに、大規模言語モデル（LLMs）を用いて段階的に意味的に意味のある特徴量を生成する、Context-Aware Automated Feature Engineering（CAAFE）を紹介する。実行可能なPythonコードと人間が読みやすい説明を同時に生成することで、14のデータセット全体で平均ROC AUCを0.798から0.822に向上させ、下流のモデル性能を向上させるとともに、解釈可能性を高め、部分的に自動化され、文脈に配慮したデータサイエンスワークフローを可能にする。

ABSTRACT

As the field of automated machine learning (AutoML) advances, it becomes increasingly important to incorporate domain knowledge into these systems. We present an approach for doing so by harnessing the power of large language models (LLMs). Specifically, we introduce Context-Aware Automated Feature Engineering (CAAFE), a feature engineering method for tabular datasets that utilizes an LLM to iteratively generate additional semantically meaningful features for tabular datasets based on the description of the dataset. The method produces both Python code for creating new features and explanations for the utility of the generated features. Despite being methodologically simple, CAAFE improves performance on 11 out of 14 datasets -- boosting mean ROC AUC performance from 0.798 to 0.822 across all dataset - similar to the improvement achieved by using a random forest instead of logistic regression on our datasets. Furthermore, CAAFE is interpretable by providing a textual explanation for each generated feature. CAAFE paves the way for more extensive semi-automation in data science tasks and emphasizes the significance of context-aware solutions that can extend the scope of AutoML systems to semantic AutoML. We release our $\href{https://github.com/automl/CAAFE}{code}$, a simple $\href{https://colab.research.google.com/drive/1mCA8xOAJZ4MaB_alZvyARTMjhl6RZf0a}{demo}$ and a $\href{https://pypi.org/project/caafe/}{python\ package}$.

研究の動機と目的

• 現在の自動機械学習（AutoML）システムが、データ工学やドメイン知識の統合を無視しているというギャップを埋めるため。
• 大規模言語モデル（LLMs）に埋め込まれた膨大なドメイン知識を活用した自動特徴量工学を可能にするため。
• 意味的に意味のある、文脈に配慮した特徴量の生成を通じて、表形式データセットにおけるモデル性能を向上させること。
• 各生成された特徴量についてテキストによる説明を提供することで、解釈可能性を確保し、信頼性と利用可能性を高めること。
• LLMsと古典的機械学習の間の溝を埋えるために、コードをインターフェースとして用いることで、LLMsの創造性と古典的機械学習の頑健性を組み合わせること。

提案手法

• CAFEは、ユーザーが指定したデータセットの説明と文脈をもとに、LLMが新しい意味的に意味のある特徴量のためのPythonコードを生成する。
• システムは反復的に動作する：LLMが特徴量工学の操作を提案し、それらが下流の予測モデルにおける交差検証を経て実行・評価される。
• 性能の向上は、特徴量追加前後の予測モデルのAUCを比較することで検証される。
• 性能を向上させる特徴量のみが保持され、アルゴリズム的フィードバックがプロセスを駆動することを保証する。
• 各生成された特徴量には、その有用性を説明する自然言語のコメントが付随しており、解釈可能性が確保される。
• 本手法は、LLMsと古典的機械学習モデルの間のインターフェースとしてコードを扱い、再現可能で検証可能な自動化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 LLMsを用いて、文脈に配慮した、意味的に意味のある特徴量を効果的に生成し、表形式の予測性能を向上させることは可能か？
• RQ2 CAFEの性能は、ロジスティック回帰やランダムフォレストといった従来のベースラインモデルと比べてどの程度優れているか？
• RQ3 LLMsが生成した特徴量は、テキストによる説明を通じてどの程度解釈可能で検証可能か？
• RQ4 LLMsを用いた反復的でフィードバック駆動の特徴量生成は、一貫性があり再現可能なモデル性能の向上をもたらすか？
• RQ5 CAFEは、ドメインの文脈が異なる多様な表形式データセットにどの程度スケーリング可能か？

主な発見

• CAFEは14の多様な表形式データセット全体で、平均ROC AUCを0.798から0.822に向上させ、0.024の絶対的向上を達成した。
• この性能向上は、同じデータセット上でロジスティック回帰からランダムフォレストにアップグレードしたのと同等の効果に相当する。
• 本手法は14のデータセットのうち11つで特徴量の生成に成功し、一貫した改善可能性を示した。
• 各生成された特徴量には自然言語による説明が付随しており、解釈可能性とユーザーの信頼性を高めた。
• LLMsと古典的機械学習モデルの間のインターフェースとして実行可能なコードを使用することで、再現性を達成した。
• CAFEは、LLMsによるドメイン知識の統合がAutoMLに可能であることを示し、AutoMLを意味的AutoMLへと拡張する可能性を示した。