[논문 리뷰] AbdomenAtlas-8K: Annotating 8,000 CT Volumes for Multi-Organ Segmentation in Three Weeks

Chongyu Qu, Tiezheng Zhang외 5명|arXiv (Cornell University)|2023. 05. 16.

Pancreatic and Hepatic Oncology Research인용 수 17

한 줄 요약

활성 학습 워크플로를 제안하여 대규모 다기관 CT 데이터 세트 AbdomenAtlas-8K를 신속하게 생성하고, AI 예측과 표적 방사선 전문의의 수정 결합으로 3주 만에 전체 주석을 달성한다.

ABSTRACT

Annotating medical images, particularly for organ segmentation, is laborious and time-consuming. For example, annotating an abdominal organ requires an estimated rate of 30-60 minutes per CT volume based on the expertise of an annotator and the size, visibility, and complexity of the organ. Therefore, publicly available datasets for multi-organ segmentation are often limited in data size and organ diversity. This paper proposes an active learning method to expedite the annotation process for organ segmentation and creates the largest multi-organ dataset (by far) with the spleen, liver, kidneys, stomach, gallbladder, pancreas, aorta, and IVC annotated in 8,448 CT volumes, equating to 3.2 million slices. The conventional annotation methods would take an experienced annotator up to 1,600 weeks (or roughly 30.8 years) to complete this task. In contrast, our annotation method has accomplished this task in three weeks (based on an 8-hour workday, five days a week) while maintaining a similar or even better annotation quality. This achievement is attributed to three unique properties of our method: (1) label bias reduction using multiple pre-trained segmentation models, (2) effective error detection in the model predictions, and (3) attention guidance for annotators to make corrections on the most salient errors. Furthermore, we summarize the taxonomy of common errors made by AI algorithms and annotators. This allows for continuous revision of both AI and annotations and significantly reduces the annotation costs required to create large-scale datasets for a wider variety of medical imaging tasks.

연구 동기 및 목표

• 다양한 인구집단과 스캐너에 걸쳐 견고한 다기관 분할을 위한 대규모의 완전 주석 복부 CT 데이터 세트의 필요성을 제시한다.
• 선택적 인간 수정과 AI 예측을 결합하여 주석 시간을 대폭 단축하는 효율적인 주석 워크플로를 개발한다.
• 지금까지 제작된 것이 가장 큰 주석 달린 복부 CT 데이터 세트인 AbdomenAtlas-8K를 수천 개의 볼륨에 걸쳐 8개 장기로 생성한다.
• 다중 모델 예측과 오류 중심 주의 맵을 통해 라벨 편향을 평가하고 줄이며 AI 일반화 성능을 향상시키는 프레임워크를 제공한다.

제안 방법

• 부분적으로 라벨된 공개 데이터 세트에서 세 가지 AI 세분화 아키텍처를 훈련시켜 초기 보셀 단위 예측을 생성한다.
• 일관성 부족, 불확실성, 예측 겹침을 결합하여 각 보셀에 대한 주의 맵을 계산하여 잠재적 오류를 강조한다.
• 주석자가 최우선 우선 순위의 볼륨을 수정하는 8단계 능동 학습 루프를 사용하고 그 다음 모델 미세 조정과 개선이 정체될 때까지 반복한다.

실험 결과

연구 질문

• RQ1 오류 중심 주의 맵이 포함된 능동 학습 워크플로가 대규모의 보셀 단위 복부 장기 주석을 가속화할 수 있는가?
• RQ2 다중 AI 모델 예측을 집계하는 것이 다기관 분할에서 라벨 편향과 일반화에 어떤 영향을 미치는가?
• RQ3 전통적인 보셀 수준 주석에서 안내된 인간-개입 루프 프로세스로의 이동에서 실용성 및 효율성 향상은 어느 정도인가?
• RQ4 수정된 주석이 다운스트림 AI 세분화 성능과 미지의 데이터에 대한 일반화를 향상시키는가?

주요 결과

• AbdomenAtlas-8K는 3주 만에 생성되었으며, 8,448개의 CT 볼륨에 대해 8개 복부 구조에 대한 보셀 단위 주석을 포함한다.
• 일관성 부족, 불확실성, 겹침에 기반한 주의 맵은 외부 데이터에서 높은 민감도와 정밀도로 인간 수정이 필요한 영역을 효과적으로 국소화한다.
• 최종 주석은 단일 모델에 의존하기보다 세 가지 AI 예측의 평균에 의해 라벨 편향을 줄이고 모델 간 일반화를 향상시킨다.
• AbdomenAtlas-8K에서 훈련된 AI 모델은 미지의 데이터셋에서 평가될 때 비공개 병원 데이터로 훈련된 모델과 평균 성능이 비슷하여 강한 일반화를 나타낸다.
• 수정된 라벨과 미세 조정은 외부 검증에서 장기별 Dice Similarity Coefficient와 NSD에서 측정 가능한 향상을 가져온다.