[論文レビュー] HLER: Human-in-the-Loop Economic Research via Multi-Agent Pipelines for Empirical Discovery

Chen Zhu, Xiaolu Wang|arXiv (Cornell University)|Mar 8, 2026

Computational and Text Analysis Methods被引用数 0

ひとこと要約

HLER は、人間の監視を重要な意思決定ゲートで維持しつつ、データセットに依存する仮説生成と二重のフィードバックループを用いて、実証経済学研究を自動化するマルチエージェントパイプラインを構築する。

ABSTRACT

Large language models (LLMs) have enabled agent-based systems that aim to automate scientific research workflows. Most existing approaches focus on fully autonomous discovery, where AI systems generate research ideas, conduct analyses, and produce manuscripts with minimal human involvement. However, empirical research in economics and the social sciences poses additional constraints: research questions must be grounded in available datasets, identification strategies require careful design, and human judgment remains essential for evaluating economic significance. We introduce HLER (Human-in-the-Loop Economic Research), a multi-agent architecture that supports empirical research automation while preserving critical human oversight. The system orchestrates specialized agents for data auditing, data profiling, hypothesis generation, econometric analysis, manuscript drafting, and automated review. A key design principle is dataset-aware hypothesis generation, where candidate research questions are constrained by dataset structure, variable availability, and distributional diagnostics, reducing infeasible or hallucinated hypotheses. HLER further implements a two-loop architecture: a question quality loop that screens and selects feasible hypotheses, and a research revision loop where automated review triggers re-analysis and manuscript revision. Human decision gates are embedded at key stages, allowing researchers to guide the automated pipeline. Experiments on three empirical datasets show that dataset-aware hypothesis generation produces feasible research questions in 87% of cases (versus 41% under unconstrained generation), while complete empirical manuscripts can be produced at an average API cost of $0.8-$1.5 per run. These results suggest that Human-AI collaborative pipelines may provide a practical path toward scalable empirical research.

研究の動機と目的

• 実データセットの構造、利用可能性、および診断に基づいて実証経済学研究を定義し、仮説生成を制約する。
• データ監査、プロファイリング、計量経済分析、原稿作成を自動化しつつ、人間の意思決定ゲートを保持する。
• 二重ループアーキテクチャ（質問の品質ループと研究改訂ループ）を導入し、実現可能性と原稿品質を反復的に向上させる。
• 複数データセットに跨るエンドツーエンドの実現可能性と費用対効果をデモンストレーションする。

提案手法

• 実証経済学を、データ監査、データプロファイリング、質問生成、データ収集、計量経済学、執筆、レビューという専門エージェントに分解し、中央の RunState が調整する。
• データセットに依存する仮説生成を実装し、変数の利用可能性、欠損、分布診断に条件付けして質問を生成する。
• 二つのフィードバックループを導入：実現可能性スクリーニングと人間の選択のための質問品質ループ、再分析と原稿改訂のための研究改訂ループ。
• Reasoning、プログラム的計量経済学（statsmodels、linearmodels）、Markdown→PDF の原稿生成には、 Claudeベースの LLM（Anthropic API）を用いた Python を使用。
• ローカルおよび公開データソース（CHNS、CMGPD-遼寧、UK Biobank、World Bank、FRED、OpenAlex）と、OLS、固定効果、差分の差、イベントスタディなどの計量設計をサポート。

Figure 1: Architecture of the HLER system. The orchestrator coordinates a multi-agent empirical research pipeline. The core workflow includes data auditing, data profiling, question generation and screening, econometric analysis, manuscript drafting, and automated critique. Two feedback loops are sh

実験結果

リサーチクエスチョン

• RQ1 与えられたデータセットとドメインに対して、現実的でデータセットと整合する実証的問いはどれだけ生成できるか？
• RQ2 データセット依存の仮説生成は、制約のない発想と比べて提案問の実現可能性にどのように影響するか？
• RQ3 人間を介在させたパイプラインは、低コストでエンドツーエンドの原稿を作成できるか？
• RQ4 反復的な査読者主導の改訂は、原稿の品質と堅牢性を向上させるか？
• RQ5 多様なデータセットに跨るエンドツーエンドの HLER 実行の実務コストと所要時間はどれくらいか？

主な発見

表2: 3データセット上の14パイプライン実行で、データセット認識対応仮説生成の可否と未制約生成との比較
データセット認識対応（HLER）	79	69 (87%)	4	6
未制約（アブレーション）	82	34 (41%)	20	17

• データセット依存の仮説生成は、現実性が高く（87%、69/79 問題）、制約なし生成は41%（34/82）だった。
• 86% のケースでエンドツーエンドのパイプライン実行を完了し、2件の実行は計量経済モデルの収束により失敗。
• 査読者スコアは、改訂2〜3回の平均で4.8から6.3へ改善。
• クリアさと識別信頼性は、改訂の過程で最大でそれぞれ +2.1 および +1.4 へと大きく改善。
• 1回の実行あたりの平均所要時間は20-25分、LLM APIコストは$0.8-$1.5、完全自動化の同等ソリューションより大幅に安価。