[论文解读] A dataset of medication images with instance segmentation masks for preventing adverse drug events

W. I. Chu, S. Hirani+2 more|arXiv (Cornell University)|Mar 11, 2026

Cold Fusion and Nuclear Reactions被引用 0

一句话总结

MEDISEG 提供 8,262 张药丸图像，包含 32 个类别和像素级实例掩模，用以训练鲁棒的药丸识别模型；基线 YOLOv8/YOLOv9 展现出强劲性能与少样本迁移的优势。

ABSTRACT

Medication errors and adverse drug events (ADEs) pose significant risks to patient safety, often arising from difficulties in reliably identifying pharmaceuticals in real-world settings. AI-based pill recognition models offer a promising solution, but the lack of comprehensive datasets hinders their development. Existing pill image datasets rarely capture real-world complexities such as overlapping pills, varied lighting, and occlusions. MEDISEG addresses this gap by providing instance segmentation annotations for 32 distinct pill types across 8262 images, encompassing diverse conditions from individual pill images to cluttered dosette boxes. We trained YOLOv8 and YOLOv9 on MEDISEG to demonstrate their usability, achieving mean average precision at IoU 0.5 of 99.5 percent on the 3-Pills subset and 80.1 percent on the 32-Pills subset. We further evaluate MEDISEG under a few-shot detection protocol, demonstrating that base training on MEDISEG significantly improves recognition of unseen pill classes in occluded multi-pill scenarios compared to existing datasets. These results highlight the dataset's ability not only to support robust supervised training but also to promote transferable representations under limited supervision, making it a valuable resource for developing and benchmarking AI-driven systems for medication safety.

研究动机与目标

• 需要现实、覆盖多药丸场景的数据集，以反映现实世界的药物处理情景。
• 创建 MEDISEG，具有在不同照明、遮挡和分装盒场景中详细的实例分割掩模。
• 在 MEDISEG 上评估最先进的检测器（YOLOv8/YOLOv9），以建立基线性能。
• 展示在未见药丸类别上的适应时的少样本学习迁移。
• 提供数据资源与指导，以通过 AI 支持药物安全研究。

提出的方法

• 使用 iPhone 12 Pro Max 捕捉并在装盒箱设置下，在变换照明条件下对真实世界药丸图像进行预处理。
• 用 COCO 格式的实例分割掩模对每个药丸进行标注，确保重叠与遮挡的准确性。
• 创建 MEDISEG（3-Pills）和 MEDISEG（32-Pills）子集，分别包含 3 种和 32 种药丸类别。
• 在 MEDISEG 上以 70/20/10 的训练/验证/测试划分训练 YOLOv8 和 YOLOv9，以建立基线。
• 使用 FsDet 框架（基础类/新颖类划分）进行少样本检测实验，在遮挡与重叠条件下评估迁移效果。
• 通过遗传算法对学习率、动量等相关设置进行超参数调优，以提升定位性能。

Figure 1: (A) Trends in AEMT events from 1980 to 2014 and (B) the distribution of these events across age groups [ 10 ] .

实验结果

研究问题

• RQ1 MEDISEG 的真实多药丸图像是否能提升药丸识别任务的目标检测与分割性能？
• RQ2 在遮挡或重叠条件下，基于 MEDISEG 预训练的检测模型是否比在受控单药数据集上训练的模型对未见药丸类别的迁移更好？
• RQ3 在包含复杂场景、不同照明与重叠的多药丸场景中，YOLOv8 与 YOLOv9 的表现有何差异？
• RQ4 在使用 MEDISEG 作为基础数据集进行新药丸类别的少样本学习时，效果如何？

主要发现

• YOLOv8 与 YOLOv9 在 3-Pills 子集上达到高的 mAP@50（最高可达 99.5%），在 32-Pills 子集上也有显著但稍低的 mAP（80.1%）。
• 在少样本测试中，以 MEDISEG 为基础训练的模型在识别未见且被遮挡的药丸时，优于在更受控数据集上训练的模型。
• YOLOv9 在 32-Pills 子集上通常获得更高的 mAP@50-95，表明在挑战性条件下更强的定位能力。
• 在 1、5、10-shot 设置中，以 MEDISEG 进行基础训练可实现更低的检测损失和在视觉复杂场景中的更稳定定位。
• 基于 MEDISEG 的预训练在包含大量重叠且遮挡严重的测试集中，能提高对未见药丸类别的泛化，尤其在强遮挡下。

Figure 2: Examples of images taken from (A) the dataset by Lee et al. [ 4 ] , (B) the NIH Pillbox dataset [ 15 ] , (C) the CURE dataset [ 5 ] , (D) the dataset by Wong et al. [ 14 ] , and (E) the dataset by Tan et al. [ 11 ] .