[論文レビュー] Dynamic and Adaptive Feature Generation with LLM

Xinhao Zhang, Jinghan Zhang+4 more|arXiv (Cornell University)|Jun 4, 2024

Natural Language Processing Techniques被引用数 11

ひとこと要約

要約: 専門レベルのLLMエージェントとTree of Thoughtsを用いた動的で解釈可能な特徴生成フレームワークLFGを提案し、反復的に特徴空間を再構成して下流のMLタスクの性能を向上させる。フィードバックとMonte Carlo Tree Searchを活用して、データタイプやタスク全体で戦略を適応させる。

ABSTRACT

The representation of feature space is a crucial environment where data points get vectorized and embedded for subsequent modeling. Thus the efficacy of machine learning (ML) algorithms is closely related to the quality of feature engineering. As one of the most important techniques, feature generation transforms raw data into an optimized feature space conducive to model training and further refines the space. Despite the advancements in automated feature engineering and feature generation, current methodologies often suffer from three fundamental issues: lack of explainability, limited applicability, and inflexible strategy. These shortcomings frequently hinder and limit the deployment of ML models across varied scenarios. Our research introduces a novel approach adopting large language models (LLMs) and feature-generating prompts to address these challenges. We propose a dynamic and adaptive feature generation method that enhances the interpretability of the feature generation process. Our approach broadens the applicability across various data types and tasks and offers advantages over strategic flexibility. A broad range of experiments showcases that our approach is significantly superior to existing methods.

研究の動機と目的

• 自動特徴生成における説明性の欠如に対処する。
• 多様なデータ型と下流タスクへの適用性を高める。
• LLMエージェントを用いた動的で適応的な特徴生成ループを導入する。
• 特徴空間を再構成するための透明でエンドツーエンドのフレームワークを提供する。
• 実験を通じて、ベースラインよりも堅牢性と性能向上を示す。

提案手法

• 下流タスクの性能を最大化するよう特徴セットを再構成するための特徴空間と操作空間、最適化目的を定義する。
• 既存の特徴に対して一意的/二項演算を適用して新しい特徴を生成するため、LLMエージェントを用い、プロンプトに導かせる。
• 各決定の説明可能な生成ステップを生み出すためにTree of Thoughts (ToT)推論を組み込む。
• 下流タスクの性能からのフィードバックを取り入れて世代間でエージェント戦略を洗練させる。
• 特徴空間探索における探索と活用のバランスを取るため、強化されたMonte Carlo Tree Search (MCTS)を適用する。
• 最適な特徴サブセットが見つかるまで、または最大反復回数に達するまで反復を行い、下流タスクで検証する。

実験結果

リサーチクエスチョン

• RQ1 LLMベースのエージェントは、自動特徴エンジニアリングにおいて透明で説明可能な特徴生成ステップを提供できるか。
• RQ2 動的でフィードバック駆動の特徴生成は、異なるデータタイプや下流タスクにどれだけ適応できるか。
• RQ3 従来の自動エンジニアリング手法と比較して、LFGで特徴空間を豊かにすることは下流タスクの性能を改善するか。
• RQ4 反復的なToTガイド付き特徴生成がモデルの堅牢性と収束に与える影響は何か。
• RQ5 統合されたMCTSが高性能な特徴サブセットを発見する上でどれほど効果的か。

主な発見

• LFGは複数のデータセットと分類器にわたって一貫してベースラインを上回る。
• LFG-3（三回の反復）はIonで顕著な精度向上を達成し、複数のデータセットで精度/再現率/F1を改善。
• このアプローチは五分割交差検証で堅牢性を示し、ベースラインよりも精度や他の指標の改善を示す。
• 反復的な生成は特徴セットのサイズの増加と、下流の性能の着実な改善をもたらす。
• MCTS主導の探索は、効果的な特徴サブセットの発見における探索と活用のバランスを支援する。