[論文レビュー] DEEPMED: Building a Medical DeepResearch Agent via Multi-hop Med-Search Data and Turn-Controlled Agentic Training & Inference

Zihan Wang, Hao Wang+7 more|arXiv (Cornell University)|Jan 26, 2026

Machine Learning in Healthcare被引用数 0

ひとこと要約

DeepMedは多跳の医療検索データ、ターン制御訓練、過剰エビデンスモニターを用いて医療推論を強化し、幻覚を減らし、七つの医療ベンチマークで改善を達成する医療DeepResearchエージェントを構築する

ABSTRACT

Medical reasoning models remain constrained by parametric knowledge and are thus susceptible to forgetting and hallucinations. DeepResearch (DR) models ground outputs in verifiable evidence from tools and perform strongly in general domains, but their direct transfer to medical field yields relatively limited gains. We attribute this to two gaps: task characteristic and tool-use scaling. Medical questions require evidence interpretation in a knowledge-intensive clinical context; while general DR models can retrieve information, they often lack clinical-context reasoning and thus "find it but fail to use it," leaving performance limited by medical abilities. Moreover, in medical scenarios, blindly scaling tool-call can inject noisy context, derailing sensitive medical reasoning and prompting repetitive evidence-seeking along incorrect paths. Therefore, we propose DeepMed. For data, we deploy a multi-hop med-search QA synthesis method supporting the model to apply the DR paradigm in medical contexts. For training, we introduce a difficulty-aware turn-penalty to suppress excessive tool-call growth. For inference, we bring a monitor to help validate hypotheses within a controlled number of steps and avoid context rot. Overall, on seven medical benchmarks, DeepMed improves its base model by 9.79\% on average and outperforms larger medical reasoning and DR models.

研究の動機と目的

• DeepResearchモデルを医療推論とツール利用へ適用する際のギャップを特定する。
• 検証可能なエビデンスに医療推論を grounded するために多跳の医療検索データを統合する。
• 過度なツール利用を抑制する難易度を考慮したターンペナルティ付き訓練を開発する。
• 推論時に過剰証拠モニターを実装し文脈の回転を防止する。
• 基準ベースラインよりも医療ベンチマークで幻覚を抑えつつ改善を示す。

提案手法

• ウェブソースから合成した多跳Med-Search QAデータを用いてエージェント性SFTを訓練するDeepMedを提案する。
• 医療QAを含む難易度設定の強い検索と推論の統合を強化するエージェント性RL（ARL）を用いる。
• 訓練時に難易度を考慮したターンペナルティを導入し過度なツール呼び出しを抑制する。
• 推論時には進捗が停滞した場合に探索を停止する過剰証拠モニターを展開する。
• 検索と訪問の2つのツールを用いてウェブ証拠に基づく推論を地固めし、取得と要約を行う。
• 七つの医療ベンチマークで評価し、医療およびDRベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 多跳のウェブベース医療検索データはDeepResearchエージェントの医療推論を改善するか。
• RQ2 エージェント性RLにおけるターンペナルティは医療タスクでのツール利用の成長を有効に制御できるか。
• RQ3 過剰証拠モニターは医療推論時の過剰探索と文脈回転を減らすか。
• RQ4 DeepMedは標準および難易度の高い医療ベンチマークで、より大きな医療モデルやDRモデルと比較してどの程度性能を示すか。

主な発見

• DeepMedは七つの医療ベンチマークで改善を示し、より大きなモデルや大量データで学習したベースラインを一部上回る。
• SFT後、DeepMedは難易度の高いHLE-MedおよびMedXpertベンチマークで多くの医療専門モデルをパラメータ数が多いにも関わらず上回る。
• RLステージはベンチマーク全体で一貫した利得を生み、HLE-Medを除く全てで最新性能を達成した。
• DeepMedは二つの難しいベンチマークで平均13.92%の改善、五つの標準ベンチマークで8.13%の改善を示す（ベースモデル比）。
• モデルはウェブベースの取得と自己補正ループを介して幻覚を減らし、エビデンスの groundingを改善。
• 過剰証拠モニターは難しいケースで過剰探索と停滞を抑制し、推論を安定させる。