[论文解读] More Rounds, More Noise: Why Multi-Turn Review Fails to Improve Cross-Context Verification

Song Tae-Eun|arXiv (Cornell University)|Mar 17, 2026

Topic Modeling被引用 0

一句话总结

该研究表明，在多轮动态跨文境评审（D-CCR）下，因假阳性压力与评审目标漂移，性能不及单次跨文境评审（CCR）；独立并行评审更可取。

ABSTRACT

Cross-Context Review (CCR) improves LLM verification by separating production and review into independent sessions. A natural extension is multi-turn review: letting the reviewer ask follow-up questions, receive author responses, and review again. We call this Dynamic Cross-Context Review (D-CCR). In a controlled experiment with 30 artifacts and 150 injected errors, we tested four D-CCR variants against the single-pass CCR baseline. Single-pass CCR (F1 = 0.376) significantly outperformed all multi-turn variants, including D-CCR-2b with question-and-answer exchange (F1 = 0.303, $p < 0.001$, $d = -0.59$). Multi-turn review increased recall (+0.08) but generated 62% more false positives (8.5 vs. 5.2), collapsing precision from 0.30 to 0.20. Two mechanisms drive this degradation: (1) false positive pressure -- reviewers in later rounds fabricate findings when the artifact's real errors have been exhausted, and (2) Review Target Drift -- reviewers provided with prior Q&A exchanges shift from reviewing the artifact to critiquing the conversation itself. Independent re-review without prior context (D-CCR-2c) performed worst (F1 = 0.263), confirming that mere repetition degrades rather than helps. The degradation stems from false positive pressure in additional rounds, not from information amount -- within multi-turn conditions, more information actually helps (D-CCR-2b > D-CCR-2a). The problem is not what the reviewer sees, but that reviewing again invites noise.

研究动机与目标

• 研究添加多轮交互到跨文境评审（CCR）是否能提高含注入错误的人工制品的验证效果。
• 在上下文分离条件下，是否包含作者回答或先前问题对后续评审有帮助或可作为锚点？
• 确定降低多轮CCR性能的机制（假阳性、漂移）。
• 在上下文分离条件下识别最佳评审策略，并为验证预算提供实际指导。）

提出的方法

• 使用30个人工制品和注入错误150个，复现实证CCR及四种D-CCR变体与单次CCR基线。
• 在独立会话中使用Claude Opus 4.6以在评审轮次之间保持上下文分离。
• 评估变体：CCR-1（仅人工制品）、D-CCR-2a（人工制品+问题）、D-CCR-2b（人工制品+问答）、D-CCR-2c（仅人工制品，重新进行第二次评审）。
• 通过一个评分函数将评审者发现与真实错误对齐，该函数结合行近似、对韩文归一化后关键词重叠，以及模糊子串匹配（阈值1.0–3.0）。
• 计算每个人工制品的F1、精确度与召回率；进行配对t检验与Willcoxon检验，Bonferroni校正以比较条件。

Figure 1: F1, Precision, and Recall by condition. CCR-1 achieves the highest F1 and Precision. Multi-turn conditions increase Recall but collapse Precision, resulting in lower F1.

实验结果

研究问题

• RQ1 RQ1. 多轮D-CCR是否优于单轮CCR？
• RQ2 RQ2. 作者的回答是否对评审者有帮助或成为锚点？
• RQ3 RQ3. 多轮评审中连续性是否优于独立性？
• RQ4 RQ4. 独立重复是否优于单次？

主要发现

Findings	TP	FP	Dup	Precision	Recall	F1	F1 SD
CCR-1	9.3	2.64	5.23	1.43	0.297	0.376	0.136
D-CCR-2a	15.4	2.96	9.17	3.27	0.197	0.293	0.102
D-CCR-2b	15.2	3.03	8.47	3.70	0.204	0.303	0.110
D-CCR-2c	18.4	3.10	9.70	5.60	0.168	0.263	0.091

• 单轮CCR在F1上优于所有多轮变体（CCR-1 F1=0.376 vs 多轮0.263–0.303；除一个未显著外，其余均p < 0.001）。
• 多轮变体提高了召回率（+0.08），但导致精度大幅下降（CCR-1为0.30，而多轮为0.168–0.204），从而使F1下降。
• 假阳性压力驱动退化：第二轮发现包括每个人工制品额外的3–4个假阳性，而不仅是新增的真实阳性。
• 评审目标漂移解释了问答内容如何使评审者的注意力从制品错误转向对话质量。
• 独立的CCR评审集合（多数表决）的F1更高（0.393），优于任何多轮变体，表明并行独立评审优于顺序迭代。

Figure 2: False positive accumulation across conditions. The dashed line marks CCR-1’s FP level. All multi-turn conditions add substantial Round 2 FPs (red), with D-CCR-2c generating the most noise.