[論文レビュー] DS-Agent: Automated Data Science by Empowering Large Language Models with Case-Based Reasoning
DS-Agent は大規模言語モデルのエージェントとケースベース推論を統合してデータサイエンスのタスクを自動化し、高い開発段階の成功と、リソースコストを抑えたデプロイ段階のワンパス性能を実現します。
In this work, we investigate the potential of large language models (LLMs) based agents to automate data science tasks, with the goal of comprehending task requirements, then building and training the best-fit machine learning models. Despite their widespread success, existing LLM agents are hindered by generating unreasonable experiment plans within this scenario. To this end, we present DS-Agent, a novel automatic framework that harnesses LLM agent and case-based reasoning (CBR). In the development stage, DS-Agent follows the CBR framework to structure an automatic iteration pipeline, which can flexibly capitalize on the expert knowledge from Kaggle, and facilitate consistent performance improvement through the feedback mechanism. Moreover, DS-Agent implements a low-resource deployment stage with a simplified CBR paradigm to adapt past successful solutions from the development stage for direct code generation, significantly reducing the demand on foundational capabilities of LLMs. Empirically, DS-Agent with GPT-4 achieves 100\% success rate in the development stage, while attaining 36\% improvement on average one pass rate across alternative LLMs in the deployment stage. In both stages, DS-Agent achieves the best rank in performance, costing \$1.60 and \$0.13 per run with GPT-4, respectively. Our data and code are open-sourced at https://github.com/guosyjlu/DS-Agent.
研究の動機と目的
- LLMエージェントがタスク要件を理解し、データ駆動の指導に基づいてモデルを構築/訓練できるようにすることで、自動化されたデータサイエンスを民主化する。
- ケースベース推論を介して Kaggle の専門家の洞察を活用し、自動かつ反復的な解決パイプラインを構築する。
- 広範な再訓練を必要とせず、過去の成功事例を再利用してコード生成を行う低リソース展開経路を有効にする。
提案手法
- 完全なCBRベースの反復ループを備えた開発段階と、CBRベースの適応を簡素化したデプロイ段階を組み立てる、2段階の DS-Agent フレームワークを定式化する。
- Kaggle レポートとトップ勝利コードから人間の洞察のケース銀行を収集・編纂し、取得と再利用のためにケース銀行に格納する。
- 実行フィードバックに基づいて実験計画を段階的に改善するための取得・改訂・再利用・実行・保持のループを実装する。
- Retriever を使ってタスク埋め込みのコサイン類似度で上位 k 件の類似ケースを取得し、ReviseRanker で実行フィードバックに基づいてケースの再順位付けを行い、Planner と Programmer が計画を再作成し Python コードを生成する。Debugger はランタイムエラーを修正し、Logger は実行ログを記録する。
- 開発時には成功したタスク計画とスクリプトを人間の洞察とエージェントのケース銀行の両方に蓄え、将来再利用できるようにする。デプロイ時にはエージェント銀行の過去のケースを適用して最小限の LLM 努力でコードを生成する。
実験結果
リサーチクエスチョン
- RQ1CBR を LLM エージェントと統合して、データサイエンス自動化タスクの信頼性と計画性を改善できるか?
- RQ2反復的な CBR 改訂を伴う開発と過去ケース適用を含む2段階の DS-Agent フレームワークは、多様なデータモダリティに対して高いタスク成功と低コストを実現できるか?
- RQ3フィードバック駆動のケース改訂(ReviseRank)とケースベースの再利用が全体の性能と効率にどのような影響を与えるか?
主な発見
- GPT-4 を用いた DS-Agent は 12 タスクで開発段階の成功率を100%達成。
- デプロイ段階では、GPT-3.5 と GPT-4 を用いた DS-Agent が、それぞれ 18 件のデプロイメントタスクでワンパス率を 85% と 99% 達成し、ベースラインを上回った。
- アブレーション実験は、ReviseRank や CBR がないと著しく性能が低下することを示し、フィードバック駆動のケース改訂と専門知識の統合の重要性を浮き彫りにした。
- 開発段階では 0.06 ドル(GPT-3.5)と 1.60 ドル(GPT-4)までコストを大幅に削減し、デプロイ段階では 0.0045 ドルと 0.1350 ドルへ低下し、実世界利用を可能にする。
- 過去のケースを活用したデプロイ段階はほぼゼロショットまたは少数ショットの有効性を実現し、オープンソース LLM(Mixtral-8x7b-Instruct)での改善も含まれる。
- DS-Agent は複数のタスクで強力なランキング性能を示し、GPT-4 はしばし最高の平均/最高ランクを達成することが多い。
この論文を読む
Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。
Nubintでこの論文を読むこのレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。