[論文レビュー] Data Interpreter: An LLM Agent For Data Science

Sirui Hong, Yizhang Lin+25 more|arXiv (Cornell University)|Feb 28, 2024

Semantic Web and Ontologies被引用数 11

ひとこと要約

Data Interpreter は、階層的グラフとしてデータサイエンスのワークフローをモデル化し、プログラム可能なノード生成を備えたLLMベースのエージェントで、エンドツーエンドの動的タスク解決を可能にし、複数のベンチマークで性能を向上させます。

ABSTRACT

Large Language Model (LLM)-based agents have shown effectiveness across many applications. However, their use in data science scenarios requiring solving long-term interconnected tasks, dynamic data adjustments and domain expertise remains challenging. Previous approaches primarily focus on individual tasks, making it difficult to assess the complete data science workflow. Moreover, they struggle to handle real-time changes in intermediate data and fail to adapt dynamically to evolving task dependencies inherent to data science problems. In this paper, we present Data Interpreter, an LLM-based agent designed to automatically solve various data science problems end-to-end. Our Data Interpreter incorporates two key modules: 1) Hierarchical Graph Modeling, which breaks down complex problems into manageable subproblems, enabling dynamic node generation and graph optimization; and 2) Programmable Node Generation, a technique that refines and verifies each subproblem to iteratively improve code generation results and robustness. Extensive experiments consistently demonstrate the superiority of Data Interpreter. On InfiAgent-DABench, it achieves a 25% performance boost, raising accuracy from 75.9% to 94.9%. For machine learning and open-ended tasks, it improves performance from 88% to 95%, and from 60% to 97%, respectively. Moreover, on the MATH dataset, Data Interpreter achieves remarkable performance with a 26% improvement compared to state-of-the-art baselines. The code is available at https://github.com/geekan/MetaGPT.

研究の動機と目的

• 長期にわたる相互依存タスクを管理するため、データサイエンスのワークフローを階層的グラフモデルとして再定義する。
• サブ問題とコードをリアルタイムで精練・検証するためのプログラム可能なノード生成機構を開発する。
• データやタスクの変化に適応するため、動的なタスクグラフ最適化と反復実行を実現する。
• 多様なベンチマークを横断したエンドツーエンドのデータサイエンス問題解決を実証する。
• データ分析とMLタスクにおける既存のオープンソースフレームワークに対する堅牢性と性能向上を示す。

提案手法

• データサイエンスの問題を、ノードがサブプロセスで、エッジが依存関係を表す有向非巡回グラフ(DAG)として表現する。
• プロジェクト要件からタスクレベルのグラフを生成するタスクグラフ生成器を使用する。
• ツールを組み込むことができる実行可能なコード断片へタスクを変換するアクショングラフ生成器を使用する。
• 実行時のフィードバックを用いて改良するため、反射を備えた状態保持グラフ実行機を用いてアクショングラフを実行・デバッグする。
• タスクグラフを反復的に精練するIGRと、堅牢性と適応性を向上させるプログラム可能なノード生成(PNG)を採用する。
• タスクメタデータに基づいてツールを評価・選択し、生成されたコードへ統合して文脈認識的な実行を行う。

実験結果

リサーチクエスチョン

• RQ1 データサイエンスのワークフローを、相互依存性を捉えつつ動的計画を可能にするように、階層的グラフへ効果的に分解できるか。
• RQ2 階層的グラフアプローチは、静的または単一タスクのLLMシステムと比べて、データサイエンスベンチマークでエンドツーエンドの性能を向上させるか。
• RQ3 反復的グラフ精練(IGR)がタスク成功率と効率に与える影響は何か。
• RQ4 プログラム可能なノード生成(PNG)は、生成されたデータサイエンスコードの堅牢性と精度にどのような影響を与えるか。
• RQ5 動的なツール選択と統合は、多様なデータサイエンスタスクにわたるタスク成果にどのように影響するか。

主な発見

• Data Interpreter は InfiAgent-DABench で 25% の性能向上を達成（正確度は 75.9% から 94.9% に向上）。
• MATH データセットでは、本手法が最先端ベースラインよりも 26% の改善を示した。
• ML-Benchmark タスク全体で Data Interpreter は 0.95（総合スコア）を記録し、複数のタスクでいくつかのベースラインを上回った。
• オープンエンドのタスクベンチマークは高い完了率を示し、Data Interpreter は平均 0.97 の完了率を達成。
• アブレーション研究は、IGRとPNGの組み合わせが性能を大幅に向上させることを示し（PNG/IGR で総合スコア 0.96–0.95）。
• 長文脈のLLM（例：gpt-4o）を使用すると利得が増幅され、Data Interpreter は多段階推論シナリオで直接的なLLM推論を上回った。