[논문 리뷰] A dataset of medication images with instance segmentation masks for preventing adverse drug events

W. I. Chu, S. Hirani외 2명|arXiv (Cornell University)|2026. 03. 11.

Cold Fusion and Nuclear Reactions인용 수 0

한 줄 요약

MEDISEG는 32개 클래스와 픽셀-정확한 인스턴스 마스크를 갖춘 8,262개의 알약 이미지를 제공하여 강인한 알약 인식 모델을 훈련합니다; 기본 YOLOv8/YOLOv9은 강력한 성능과 소샷 전이 이점을 보여줍니다.

ABSTRACT

Medication errors and adverse drug events (ADEs) pose significant risks to patient safety, often arising from difficulties in reliably identifying pharmaceuticals in real-world settings. AI-based pill recognition models offer a promising solution, but the lack of comprehensive datasets hinders their development. Existing pill image datasets rarely capture real-world complexities such as overlapping pills, varied lighting, and occlusions. MEDISEG addresses this gap by providing instance segmentation annotations for 32 distinct pill types across 8262 images, encompassing diverse conditions from individual pill images to cluttered dosette boxes. We trained YOLOv8 and YOLOv9 on MEDISEG to demonstrate their usability, achieving mean average precision at IoU 0.5 of 99.5 percent on the 3-Pills subset and 80.1 percent on the 32-Pills subset. We further evaluate MEDISEG under a few-shot detection protocol, demonstrating that base training on MEDISEG significantly improves recognition of unseen pill classes in occluded multi-pill scenarios compared to existing datasets. These results highlight the dataset's ability not only to support robust supervised training but also to promote transferable representations under limited supervision, making it a valuable resource for developing and benchmarking AI-driven systems for medication safety.

연구 동기 및 목표

• 현실 세계의 약물 취급 시나리오를 반영하는 현실적인 다중 알약 데이터세트의 필요성을 촉진한다.
• 다양한 조명, 가림, 그리고 dosette-box 맥락에 걸친 자세한 인스턴스 분할 마스크를 포함하는 MEDISEG를 생성한다.
• MEDISEG에서 최첨단 검출기(YOLOv8/YOLOv9)의 성능을 평가하여 기준 성능을 확립한다.
• 미확인 알약 클래스에 적응할 때 소샷 학습 전이의 효과를 시연한다.
• AI를 통한 약물 안전 연구를 지원하기 위한 데이터 자원과 지침을 제공한다.

제안 방법

• 다양한 조명의 dosette-box 설정에서 현실 세계의 알약 이미지를 포착하고 전처리하며 iPhone 12 Pro Max를 사용한다.
• 중첩 및 가림의 정확성을 보장하며 COCO 포맷 인스턴스 분할 마스크로 모든 알약에 주석을 다는 것이다.
• MEDISEG (3-Pills) 및 MEDISEG (32-Pills) 하위집합을 각각 3개 및 32개 알약 클래스로 생성한다.
• 70/20/10 train/val/test 분할로 MEDISEG에서 YOLOv8 및 YOLOv9를 훈련하여 기준선을 설정한다.
• FsDet 프레임워크(base/novel class split)를 사용한 소샷 탐지 실험을 수행하여 가림과 겹침 하에서 전이를 평가한다.
• 유전 알고리즘으로 하이퍼파라미터를 튜닝하여 학습률, 모멘텀 및 로컬라이제이션 향상을 위한 관련 설정을 최적화한다.

Figure 1: (A) Trends in AEMT events from 1980 to 2014 and (B) the distribution of these events across age groups [ 10 ] .

실험 결과

연구 질문

• RQ1 MEDISEG 현실적인 다중 알약 이미지를 통해 물체 인식 및 분할 성능이 향상될 수 있는가?
• RQ2 MEDISEG에서 사전 학습된 검출기가 가려짐이나 겹침 아래에서 보이지 않는 알약 클래스에 더 잘 일반화하는가, 제어된 단일 알약 데이터셋으로 학습한 모델에 비해?
• RQ3 YOLOv8과 YOLOv9는 다양한 조명과 겹침이 있는 복잡한 다약 이미지에서 어떻게 비교되는가?
• RQ4 MEDISEG를 기본 데이터세트로 사용하여 새로운 알약 클래스에 적응할 때 소샷 학습의 영향은 어떤가?

주요 결과

• YOLOv8 및 YOLOv9은 3-Pills 하위집합에서 mAP@50이 높은 성능(최대 99.5%)을 달성하고 32-Pills 하위집합에서 비교적 낮은 mAP(80.1%)을 달성한다.
• 소샷 테스트에서 MEDISEG에서 기본 학습된 모델이 더 제어된 데이터세트에서 학습된 모델보다 보이지 않는, 가려진 알약을 인식할 때 더 우수하다.
• YOLOv9는 일반적으로 32-Pills 하위집합에서 더 높은 mAP@50-95를 달성하여 도전적인 조건에서 더 강한 로컬라이제이션을 나타낸다.
• MEDISEG를 기반으로 한 기본 학습은 1-, 5-, 10-shot 설정에서 시각적으로 복잡한 장면에서 더 낮은 탐지 손실과 더 안정적인 로컬라이제이션을 제공한다.
• 겹침이 많은 테스트 세트에서 보이지 않는 알약 클래스에 대한 일반화를 개선하며 특히 심한 가림 하에서 그렇다.

Figure 2: Examples of images taken from (A) the dataset by Lee et al. [ 4 ] , (B) the NIH Pillbox dataset [ 15 ] , (C) the CURE dataset [ 5 ] , (D) the dataset by Wong et al. [ 14 ] , and (E) the dataset by Tan et al. [ 11 ] .