[논문 리뷰] Quick Annotator: an open-source digital pathology based rapid image annotation tool

Runtian Miao, Róbert Tóth외 3명|arXiv (Cornell University)|2021. 01. 06.

AI in cancer detection참고 문헌 5인용 수 4

한 줄 요약

Quick Annotator는 실시간 사용자 상호작용과 능동적 딥러닝을 결합하여 디지털 병리 영상의 주석을 가속화하는 오픈소스 웹 기반 도구입니다. 사용자가 관심 영역을 주석 달 때마다 모델이 반복적으로 재학습되고 적용되어 세그멘테이션을 제안하며, 전체 슬라이드 영상의 세 가지 조직학적 구조에서 F-스코어가 0.95 이상을 유지하면서도 주석 속도가 39배에서 102배 빨라집니다.

ABSTRACT

Image based biomarker discovery typically requires an accurate segmentation of histologic structures (e.g., cell nuclei, tubules, epithelial regions) in digital pathology Whole Slide Images (WSI). Unfortunately, annotating each structure of interest is laborious and often intractable even in moderately sized cohorts. Here, we present an open-source tool, Quick Annotator (QA), designed to improve annotation efficiency of histologic structures by orders of magnitude. While the user annotates regions of interest (ROI) via an intuitive web interface, a deep learning (DL) model is concurrently optimized using these annotations and applied to the ROI. The user iteratively reviews DL results to either (a) accept accurately annotated regions, or (b) correct erroneously segmented structures to improve subsequent model suggestions, before transitioning to other ROIs. We demonstrate the effectiveness of QA over comparable manual efforts via three use cases. These include annotating (a) 337,386 nuclei in 5 pancreatic WSIs, (b) 5,692 tubules in 10 colorectal WSIs, and (c) 14,187 regions of epithelium in 10 breast WSIs. Efficiency gains in terms of annotations per second of 102x, 9x, and 39x were respectively witnessed while retaining f-scores >.95, suggesting QA may be a valuable tool for efficiently fully annotating WSIs employed in downstream biomarker studies.

연구 동기 및 목표

• 디지털 병리 영상 분석에서 시간이 많이 소요되는 수동 주석의 핵심적 한계를 해결하기 위해.
• 생물표지자 발견을 위한 대규모 전체 슬라이드 영상(WSI) 주석에 소요되는 노동력과 시간을 줄이기 위해.
• 세포핵, 난관, 상피 부위와 같은 조직학적 구조의 효율적이고 확장 가능하며 정확한 세그멘테이션을 가능하게 하기 위해.
• 주석 과정 중에 능동적 학습과 상호작용 사용자 피드백을 통합하여 모델 예측을 반복적으로 향상시키기 위해.
• 병리 연구 분야에서 고효율 주석 도구에의 접근성을 보편화하기 위해 무료로 공개된 오픈소스 솔루션을 제공하기 위해.

제안 방법

• 전체 슬라이드 영상에서 관심 영역(ROIs)을 사용자가 직관적으로 실시간으로 주석 달 수 있도록 웹 기반 인터페이스를 활용합니다.
• 사용자가 새로 주석한 데이터를 기반으로 실시간으로 갱신되는 딥러닝(DL) 모델을 적용합니다.
• 업데이트된 모델을 실시간으로 적용하여 세그멘테이션 예측을 제안하고, 사용자가 검토 및 수정할 수 있도록 합니다.
• 반복적인 정밀 조정을 지원하며, 사용자는 정확한 예측을 수락하거나 오류를 수정함으로써 모델의 향후 제안을 더욱 향상시킵니다.
• 사용자 수정 사항이 즉시 모델 학습 과정에 통합되어 시간이 지남에 따라 정확도가 향상되는 피드백 루프를 구현합니다.
• 지능적이고 진화하는 모델 예측을 통해 반복적인 수동 레이블링을 줄임으로써 주석 효율성을 최적화합니다.

실험 결과

연구 질문

• RQ1 수동 주석 방식에 비해 상호작용적 웹 기반 주석 시스템이 전체 슬라이드 영상에서 조직학적 구조 주석에 소요되는 시간을 크게 줄일 수 있는가?
• RQ2 실시간 사용자 피드백과 함께 능동적 학습을 통합할 경우 주석 효율성과 모델 정확도가 얼마나 향상되는가?
• RQ3 주석 처리량을 크게 향상시키면서도 높은 세그멘테이션 성능(예: F-스코어 >0.95)을 유지할 수 있는가?
• RQ4 다양한 조직 유형에서 세포핵, 난관, 상피 등 다양한 조직학적 구조에서 도구의 성능은 어떠한가?
• RQ5 도구의 오픈소스 성격이 대규모 생물표지자 발견 파이프라인에의 넓은 도입과 통합을 충분히 지원할 수 있는가?

주요 결과

• Quick Annotator는 5개의 췌장 전체 슬라이드 영상에서 337,386개의 세포핵을 주석 달 때 수동 주석 대비 102배 빠른 속도를 기록했습니다.
• 10개의 대장 전체 슬라이드 영상에서 5,692개의 난관을 주석할 때 도구는 9배의 속도 향상을 보였으며, F-스코어는 0.95 이상을 유지했습니다.
• 10개의 유방 전체 슬라이드 영상에서 14,187개의 상피 부위에 대해 시스템은 주석 효율성을 39배 향상시켰고, F-스코어는 0.95를 초과했습니다.
• 사용자 수정 사항과 모델 재학습 간의 반복 피드백 루프가 시간이 지남에 따라 모델 정확도를 크게 향상시켰습니다.
• 다양한 조직 유형과 조직학적 구조에서 뛰어난 성능을 보이며 광범위한 적용 가능성을 입증했습니다.
• 오픈소스 배포 방식을 통해 대규모 디지털 병리 연구 워크플로우에의 통합을 위한 접근성과 확장성을 보장합니다.