[论文解读] METIS: Mentoring Engine for Thoughtful Inquiry & Solutions

Abhinav Rajeev Kumar, Dhruv Trehan+1 more|arXiv (Cornell University)|Jan 19, 2026

Intelligent Tutoring Systems and Adaptive Learning被引用 0

一句话总结

METIS 是一种工具增强、阶段感知的 AI 导师，能够引导本科生从创意到可发表论文，在若干单轮与多轮评测中超越 Claude Sonnet 4.5，在文献支撑的 drafting 阶段获得最显著的提升。

ABSTRACT

Many students lack access to expert research mentorship. We ask whether an AI mentor can move undergraduates from an idea to a paper. We build METIS, a tool-augmented, stage-aware assistant with literature search, curated guidelines, methodology checks, and memory. We evaluate METIS against GPT-5 and Claude Sonnet 4.5 across six writing stages using LLM-as-a-judge pairwise preferences, student-persona rubrics, short multi-turn tutoring, and evidence/compliance checks. On 90 single-turn prompts, LLM judges preferred METIS to Claude Sonnet 4.5 in 71% and to GPT-5 in 54%. Student scores (clarity/actionability/constraint-fit; 90 prompts x 3 judges) are higher across stages. In multi-turn sessions (five scenarios/agent), METIS yields slightly higher final quality than GPT-5. Gains concentrate in document-grounded stages (D-F), consistent with stage-aware routing and groundings failure modes include premature tool routing, shallow grounding, and occasional stage misclassification.

研究动机与目标

• 为 AI 基于研究辅导从创意到论文提供阶段感知的工作流程与评估框架。
• 构建一个具备文献检索、指南、方法学检查和记忆功能的工具化导师，以在数周内支持学习者。
• 通过单轮和多轮任务，使用 LLM-judge 成对偏好与学生评分标准，经验性比较 METIS 与 GPT-5 和 Claude Sonnet 4.5 的表现。

提出的方法

• 具备阶段感知的代理架构，配备阶段检测器以路由工具（研究指南、文献检索、方法学检查、记忆）。
• 每次回复包含两个自我解释块（直觉、为何这是有原则的）以暴露推理与论证。
• 通过基于检索增强生成（Retrieval Augmented Generation）的 grounding，使用 arXiv/OpenReview 来源并以真实引文进行评估。
• 基于六个写作阶段 A–F（从创意前到最终稿）的阶段化评估和相应提示。
• 使用 LLM-judge 成对偏好与学生视角的评分标准来评估表现与学习者满意度。
• 开放材料（提示、日志、脚本）以提高可重复性。

Figure 1: METIS architecture. Stage detector and tool router select tools (Research Guidelines, web/document search, attachment search, methodology checks) based on writing stage. The agent synthesizes a reply and surfaces two self‑explanations ( Intuition , Why this is principled ), plus next steps

实验结果

研究问题

• RQ1 一个 AI 导师是否能够将本科生从初始创意推向 conference-paper 水平的产出？
• RQ2 阶段感知路由与文献 grounding 相较于强基线对话在指导质量上是否有提升？
• RQ3 在工具路由、 grounding 与阶段分类中存在哪些失败模式，如何 mitigated？

主要发现

• METIS 在单轮 LLM-judge 偏好方面相对于 Claude Sonnet 4.5 的胜率为 71%，相对于 GPT-5 的胜率为 54%（总体）。
• 在学习者视角的评分（清晰度、可操作性、对约束的契合、信心提升等）在各阶段均高于基线。
• 在多轮会话中，METIS 的最终质量略高于 GPT-5，在某些情景下 METIS 以更少轮次实现成功。
• 增益在文献支撑阶段（D–F）最为明显，此时 grounding 与阶段路由的影响最大。
• 常见失败模式包括过早的工具路由、浅层 grounding、以及偶发的阶段分类错误。
• 评估包括 90 个单轮提示（每阶段 15 个）和每个系统 5 个多轮情景，评估使用类似人类的评审与 95% 置信区间。

Figure 2: LLM-judge pairwise preferences across stages ( $n{=}15$ prompts/stage; ties $\leq 8\%$ excluded). METIS wins $71\%$ vs Claude Sonnet 4.5 and $54\%$ vs GPT-5 overall; error bars show Wilson 95% CIs.