[논문 리뷰] EasierPath: An Open-source Tool for Human-in-the-loop Deep Learning of Renal Pathology

Zheyu Zhu, Yuzhe Lu외 4명|arXiv (Cornell University)|2020. 07. 28.

AI in cancer detection참고 문헌 16인용 수 4

한 줄 요약

EasierPath는 경로학자와 딥러닝을 통합하여 신장 전체 슬라이드 이미지(WSI)에서 효율적이고 대규모로 복합체를 탐지하기 위한 오픈소스이자 인간이 개입하는 도구이다. 반복적 개선 기법을 활용하여 CircleNet 객체 탐지, 임계값 기반 필터링, 그리고 애노테이션과의 원활한 호환성을 구현함으로써, 두 번째 루프 이후 애노테이션 작업을 57% 감소시키고 평균 정밀도를 0.504에서 0.620으로 향상시켰다.

ABSTRACT

Considerable morphological phenotyping studies in nephrology have emerged in the past few years, aiming to discover hidden regularities between clinical and imaging phenotypes. Such studies have been largely enabled by deep learning based image analysis to extract sparsely located targeting objects (e.g., glomeruli) on high-resolution whole slide images (WSI). However, such methods need to be trained using labor-intensive high-quality annotations, ideally labeled by pathologists. Inspired by the recent "human-in-the-loop" strategy, we developed EasierPath, an open-source tool to integrate human physicians and deep learning algorithms for efficient large-scale pathological image quantification as a loop. Using EasierPath, physicians are able to (1) optimize the recall and precision of deep learning object detection outcomes adaptively, (2) seamlessly support deep learning outcomes refining using either our EasierPath or prevalent ImageScope software without changing physician's user habit, and (3) manage and phenotype each object with user-defined classes. As a user case of EasierPath, we present the procedure of curating large-scale glomeruli in an efficient human-in-the-loop fashion (with two loops). From the experiments, the EasierPath saved 57 % of the annotation efforts to curate 8,833 glomeruli during the second loop. Meanwhile, the average precision of glomerular detection was leveraged from 0.504 to 0.620. The EasierPath software has been released as open-source to enable the large-scale glomerular prototyping. The code can be found in https://github.com/yuankaihuo/EasierPath

연구 동기 및 목표

• 신장 병리학에서 수작업 애노테이션의 높은 노동력 비용과 전문 지식 요구를 줄이기 위해 인간과 기계 지능을 통합한다.
• 대규모 연구를 위한 고해상도 전체 슬라이드 이미지(WSI)에서 복합체를 정제하는 데 소요되는 시간과 노력을 줄인다.
• 경로학자들이 데이터 무결성을 유지하면서도 익숙한 도구인 ImageScope와의 호환성을 유지한 채 딥러닝 탐지 결과를 효율적으로 보완·수정할 수 있도록 한다.
• 후속 형질 분석 및 모델 재학습을 위해 탐지된 복합체의 분류 및 관리 기능을 커스터마이징할 수 있도록 지원한다.
• 인간이 개입하는 피드백 루프를 통해 반복적인 개선이 가능한 확장 가능한 오픈소스 파이프라인을 개발한다.

제안 방법

• 전체 슬라이드 이미지(WSI)에서 복합체 탐지를 위한 초기 딥러닝 기반 탐지로 CircleNet을 활용하여 신뢰도 점수를 포함한 경계 원을 출력한다.
• EasierPath에서 전역 임계값 설정을 통해 신뢰도 점수에 따라 탐지 결과를 필터링하여 수작업 QA 이전에 재현율과 정밀도의 균형을 맞춘다.
• 경로학자들이 커스터마이징된 애노테이션 인터페이스 또는 원래의 ImageScope 호환성을 통해 국소적 품질보증(QA) 및 수정 작업을 수행할 수 있도록 허용한다.
• 각 탐지된 복합체를 사용자가 정의한 분류 레이블과 함께 개별 이미지로 추출하고 관리한다.
• 각 루프에서 수집된 정제된 데이터를 활용해 CircleNet 모델을 재학습시켜 폐쇄형 루프 개선 시스템을 구성한다.
• 두 가지 별도의 루프를 통해 반복적 개선을 지원한다: 첫 번째 루프는 생검 데이터를 대상으로 하며, 두 번째 루프는 신장절제술 데이터를 대상으로 하며, 각 루프 후에 모델 재학습을 수행한다.

실험 결과

연구 질문

• RQ1 인간이 개입하는 프레임워크는 대규모 신장 WSI에서 복합체 탐지에 필요한 애노테이션 작업을 상당히 줄일 수 있는가?
• RQ2 반복적인 인간 피드백은 복합체 탐지에서 딥러닝 모델의 성능을 얼마나 향상시키는가?
• RQ3 경로학자와 딥러닝 도구의 통합은 복합체 탐지의 정밀도와 재현율에 어떤 영향을 미치는가?
• RQ4 오픈소스 도구는 ImageScope와 같은 널리 사용되는 상용 소프트웨어와 호환성을 유지하면서도 임상 워크플로우를 방해하지 않는가?
• RQ5 다양한 루프에서 수집된 정제된 데이터는 복합체 탐지 모델의 일반화 능력과 정확도에 어떤 영향을 미치는가?

주요 결과

• EasierPath 프레임워크는 두 번째 루프에서 수작업 애노테이션 작업을 57% 감소시켰으며, 인간의 신장절제술 슬라이드 이미지당 약 2.5시간의 작업을 절약했다.
• 복합체 탐지의 평균 정밀도(AP)는 첫 번째 루프 이후 0.504에서 두 번째 루프 이후 0.620으로 향상되어 상대적 개선률이 22.6%에 달했다.
• IOU 임계값 0.5에서 평균 정밀도는 25.51% 상승했으며, 소형 복합체의 경우 AP는 46.28% 향상되었다.
• 정밀도 0.8일 때 재현율은 루프 1의 0.68에서 루프 2의 0.90으로 상승하여 32.35% 향상되었으며, 진짜 복합체를 더 잘 탐지함을 시사했다.
• 정밀도-재현율 곡선은 두 번째 루프 이후 정밀도와 재현율 양쪽에서 일관된 향상을 보이며 모델의 강건성 향상을 확인했다.
• 폐쇄형 루프 시스템은 정제된 데이터를 활용해 효과적인 모델 재학습을 가능하게 하여 모든 AP 지표에서 측정 가능한 성능 향상을 이끌어냈다.