[论文解读] Colon-Bench: An Agentic Workflow for Scalable Dense Lesion Annotation in Full-Procedure Colonoscopy Videos

Abdullah Hamdi, Changchun Yang+1 more|arXiv (Cornell University)|Mar 26, 2026

Colorectal Cancer Screening and Detection被引用 0

一句话总结

Colon-Bench 引入多阶段的代理工作流，对全程结肠镜检查视频进行密集注释，形成一个大型多任务基准，用于评估最先进的多模态大语言模型在病变检测、分割和视觉问答上的表现。它还分析了MLLMs 的性能并提出一种提示策略以提升零-shot 结果。

ABSTRACT

Early screening via colonoscopy is critical for colon cancer prevention, yet developing robust AI systems for this domain is hindered by the lack of densely annotated, long-sequence video datasets. Existing datasets predominantly focus on single-class polyp detection and lack the rich spatial, temporal, and linguistic annotations required to evaluate modern Multimodal Large Language Models (MLLMs). To address this critical gap, we introduce Colon-Bench, generated via a novel multi-stage agentic workflow. Our pipeline seamlessly integrates temporal proposals, bounding-box tracking, AI-driven visual confirmation, and human-in-the-loop review to scalably annotate full-procedure videos. The resulting verified benchmark is unprecedented in scope, encompassing 528 videos, 14 distinct lesion categories (including polyps, ulcers, and bleeding), over 300,000 bounding boxes, 213,000 segmentation masks, and 133,000 words of clinical descriptions. We utilize Colon-Bench to rigorously evaluate state-of-the-art MLLMs across lesion classification, Open-Vocabulary Video Object Segmentation (OV-VOS), and video Visual Question Answering (VQA). The MLLM results demonstrate surprisingly high localization performance in medical domains compared to SAM-3. Finally, we analyze common VQA errors from MLLMs to introduce a novel "colon-skill" prompting strategy, improving zero-shot MLLM performance by up to 9.7% across most MLLMs. The dataset and the code are available at https://abdullahamdi.com/colon-bench .

研究动机与目标

• 解决缺乏密集注释的、长序列的结肠镜视频数据集的问题。
• 创建可扩展的注释流水线，结合视觉-语言模型、跟踪、AI 确认与人工审核。
• 为结肠镜中的病变检测、分割与语言理解提供一个全面的基准。
• 使在医学视频场景下对 Open-Vocabulary Video Segmentation (OV-VOS) 和 VQA 的评估成为可能。

提出的方法

• 提出一种新颖的多阶段代理工作流（提案生成、验证、带提示的 AI 确认、人工审核）以产出高质量的密集注释。
• 使用 EdgeTAM/SAM 基于的跟踪在帧间传播空间注释。
• 引入 AI 驱动的确认叠加层与临床医生的最终质量门控。
• 组合列出 14 种病变类别、边界框、分割掩模，以及 133k 字的临床文本，形成 Colon-Bench。
• 在四项任务上评估多种最先进的 MLLMs：二值病变分类、OV-VOS，以及两种 VQA 难度（带提示与不带提示）。
• 引入一个来自跨模型错误分析的 Colon-Skill 提示策略，以提升零-shot VQA 的表现。

Figure 1: Colon-Bench Annotation Pipeline. Overview of the multi-stage agentic workflow used to build the dataset, from VLM proposal generation through verification, tracking with spatial annotations, AI confirmation, and clinician review. The figure highlights how successive filters reduce false po

实验结果

研究问题

• RQ1 代理工作流在规模化条件下产出密集且高质量的结肠镜注释的有效性如何？
• RQ2 当前的 MLLMs 在 Colon-Bench 上对结肠镜特定任务（分类、OV-VOS、VQA）的表现如何？
• RQ3 结构化的领域知识提示是否能提升医学 VQA 在结肠镜数据集上的表现？
• RQ4 时序上下文对长程结肠镜视频的分割和 VQA 表现有何影响？

主要发现

• Colon-Bench 流程在 464,035 帧中对 528 窗口进行注释，产生 300,132 个边界框、213,067 个分割掩模，以及 133,289 字的临床文本。
• Colon-Bench 提供四个评估任务：二值分类、OV-VOS，以及两种 VQA 难度（有提示与无提示）。
• 像 Seed 1.6 和 Gemini 3 这样的开源权重的 MLLMs 在各任务上均表现出色，其中 Gemini 3 Pro/Flash 在 VQA 与分割指标上领先。
• Open-vocabulary 分割在 GPT-5.4 + EdgeTAM 的组合下，在视频分割方面以 mIoU 提示优于 SAM-3，提升 32.0%。
• 一种新颖的 Colon-Skill 提示策略在大多数模型中将零-shot MLLM 的 VQA 性能提升至多达 9.7%。
• 消融实验表明使用三帧的检测在分割质量与计算成本之间取得良好平衡。

Figure 2: Lesion Category Distribution. Long-tailed lesion category distribution in Colon-Bench, highlighting the diversity of lesions.