[논문 리뷰] Colon-Bench: An Agentic Workflow for Scalable Dense Lesion Annotation in Full-Procedure Colonoscopy Videos

Abdullah Hamdi, Changchun Yang외 1명|arXiv (Cornell University)|2026. 03. 26.

Colorectal Cancer Screening and Detection인용 수 0

한 줄 요약

Colon-Bench는 다단계 에이전틱 워크플로우를 도입하여 전체 절차 대장내시경 영상에 촘촘한 주석을 생성하고, 병변 탐지, 분할, VQA 평가를 위한 대규모 다중 태스크 벤치마크를 제공합니다. 또한 MLLM 성능을 분석하고 제로샷 결과를 향상시키는 프롬프트 전략을 제안합니다.

ABSTRACT

Early screening via colonoscopy is critical for colon cancer prevention, yet developing robust AI systems for this domain is hindered by the lack of densely annotated, long-sequence video datasets. Existing datasets predominantly focus on single-class polyp detection and lack the rich spatial, temporal, and linguistic annotations required to evaluate modern Multimodal Large Language Models (MLLMs). To address this critical gap, we introduce Colon-Bench, generated via a novel multi-stage agentic workflow. Our pipeline seamlessly integrates temporal proposals, bounding-box tracking, AI-driven visual confirmation, and human-in-the-loop review to scalably annotate full-procedure videos. The resulting verified benchmark is unprecedented in scope, encompassing 528 videos, 14 distinct lesion categories (including polyps, ulcers, and bleeding), over 300,000 bounding boxes, 213,000 segmentation masks, and 133,000 words of clinical descriptions. We utilize Colon-Bench to rigorously evaluate state-of-the-art MLLMs across lesion classification, Open-Vocabulary Video Object Segmentation (OV-VOS), and video Visual Question Answering (VQA). The MLLM results demonstrate surprisingly high localization performance in medical domains compared to SAM-3. Finally, we analyze common VQA errors from MLLMs to introduce a novel "colon-skill" prompting strategy, improving zero-shot MLLM performance by up to 9.7% across most MLLMs. The dataset and the code are available at https://abdullahamdi.com/colon-bench .

연구 동기 및 목표

• 밀집하게 주석이 달린 길이가 긴 대장내시경 영상 데이터셋의 부족 문제를 해결한다.
• 비전-언어 모델, 추적, AI 확인 및 인간 검토를 결합한 확장 가능한 주석 파이프라인을 구축한다.
• 대장내시경에서 병변 탐지, 분할 및 언어 기반 이해를 위한 포괄적 벤치마크를 제공한다.
• 의료 영상 맥락에서 OV-VOS(Open-Vocabulary Video Segmentation) 및 VQA 평가를 가능하게 한다.

제안 방법

• 제안 생성, 검증, 큐드 AI 확인 및 인간 검토를 포함하는 새롭고 다단계의 에이전틱 워크플로우를 개발하여 고품질의 밀도 주석을 산출한다.
• EdgeTAM/SAM 기반 추적을 사용하여 공간 주석을 프레임 간에 전파한다.
• AI 주도 확인 오버레이 및 임상의 검토를 최종 품질 게이트로 통합한다.
• Colon-Bench를 14개 병변 범주, 바운딩 박스, 분할 마스크 및 133k 단어의 임상 텍스트로 구성한다.
• 네 가지 작업(이진 병변 분류, OV-VOS, 두 가지 VQA 난이도)에서 여러 최신 MLLM을 평가한다.
• 교차 모델 오차 분석에서 파생된 Colon-Skill 프롬프트 전략을 도입하여 제로샷 VQA 성능을 향상시킨다.

Figure 1: Colon-Bench Annotation Pipeline. Overview of the multi-stage agentic workflow used to build the dataset, from VLM proposal generation through verification, tracking with spatial annotations, AI confirmation, and clinician review. The figure highlights how successive filters reduce false po

실험 결과

연구 질문

• RQ1 에이전틱 워크플로우가 확장 가능한 방식으로 밀집하고 고품질의 대장내시경 주석을 생산하는가?
• RQ2 Colon-Bench를 사용한 현재의 MLLM이 대장내시경 특화 작업(분류, OV-VOS, VQA)에서 얼마나 잘 수행하는가?
• RQ3 구조화된 도메인 지식 프롬프트가 대장내시경 데이터셋에서 의료 VQA 성능을 향상시키는가?
• RQ4 장기 형 대장내시경 영상에서 시간적 맥락이 분할 및 VQA 성능에 미치는 영향은 무엇인가?

주요 결과

• Colon-Bench 파이프라인은 464,035 프레임에서 528 윈도우를 주석화하여 300,132 바운딩 박스, 213,067 분할 마스크 및 133,289 단어의 임상 텍스트를 산출한다.
• Colon-Bench는 이진 분류, OV-VOS, 그리고 두 가지 VQA 난이도(프롬프트 사용 여부)에 대한 네 가지 평가 작업을 제공한다.
• Seed 1.6 및 Gemini 3 변형과 같은 오픈-웨이트 MLLMs가 모든 작업에서 강력한 성능을 보이며, Gemini 3 Pro/Flash가 VQA 및 분할 지표를 선도한다.
• Open-vocabulary 분할에서 GPT-5.4 + EdgeTAM은 영상 분할에서 SAM-3를 32.0% mIoU 차이로 능가한다.
• 새로운 Colon-Skill 프롬프트 전략이 대부분의 모델에서 제로샷 MLLM VQA 성능을 최대 9.7%까지 향상시킨다.
• 절제(Abalation) 결과는 세 프레임 탐지가 분할 품질과 계산 간의 균형을 잘 맞춘다는 것을 보여준다.

Figure 2: Lesion Category Distribution. Long-tailed lesion category distribution in Colon-Bench, highlighting the diversity of lesions.