[논문 리뷰] SlideRunner - A Tool for Massive Cell Annotations in Whole Slide Images

Marc Aubreville, Christof Bertram외 2명|arXiv (Cornell University)|2018. 02. 07.

Cell Image Analysis Techniques참고 문헌 10인용 수 10

한 줄 요약

SlideRunner는 전체 슬라이드 조직도상의 고속, 다중 전문가 주석을 위한 오픈소스이자 상호작용형 도구로, 한 번의 클릭으로 빠르고 눈에 보이지 않는 세포 주석과 가이드된 스크리닝을 가능하게 한다. 이는 미토시스 탐지 주석을 크게 가속화하여 평균 주석 시간을 1라벨당 2.0~2.6초로 단축시키며, 다중 주석자 공감대를 통한 커리큘럼 학습과 딥러닝 응용 프로그램을 위한 향상된 데이터 품질을 지원한다.

ABSTRACT

Large-scale image data such as digital whole-slide histology images pose a challenging task at annotation software solutions. Today, a number of good solutions with varying scopes exist. For cell annotation, however, we find that many do not match the prerequisites for fast annotations. Especially in the field of mitosis detection, it is assumed that detection accuracy could significantly benefit from larger annotation databases that are currently however very troublesome to produce. Further, multiple independent (blind) expert labels are a big asset for such databases, yet there is currently no tool for this kind of annotation available. To ease this tedious process of expert annotation and grading, we introduce SlideRunner, an open source annotation and visualization tool for digital histopathology, developed in close cooperation with two pathologists. SlideRunner is capable of setting annotations like object centers (for e.g. cells) as well as object boundaries (e.g. for tumor outlines). It provides single-click annotations as well as a blind mode for multi-annotations, where the expert is directly shown the microscopy image containing the cells that he has not yet rated.

연구 동기 및 목표

• 전체 슬라이드 이미지에서 희귀하거나 복잡한 세포 유형(예: 미토시스도)의 주석 처리에 있어 기록적인 시간 소모와 낮은 처리량이라는 디지털 병리학의 핵심적 제약 요인을 해결하기 위해.
• 상호 관찰자 간 변동성을 줄이고 기저 진술의 신뢰성을 높이기 위해 눈에 보이지 않는 공감대를 통한 고품질 다중 주석자 레이블링을 가능하게 하기 위해.
• 빠른 한 번 클릭 주석과 체계적인 이미지 커버리지 검토를 지원하는 사용자 우수한 상호작용 도구를 개발하기 위해.
• 히스토파스 toll로 강력한 딥러닝 모델을 훈련시키기 위해 필수적인 대규모 고품질 주석 데이터베이스를 만들기 위해.
• 전문가 간 불일치 분석을 통해 유형적(prototypical)과 어려운 샘플을 식별함으로써 커리큘럼 학습을 지원하기 위해.

제안 방법

• SlideRunner는 표준 주석 모드(직접 레이블링)와 이전 주석자의 레이블이 숨겨진 눈에 보이지 않는 모드로 구성된 이중 모드 인터페이스를 사용하여 독립적인 전문가 평가를 보장한다.
• 주어진 영역을 자동으로 제시함으로써 탐색 시간을 줄이고 주석 처리량을 증가시키는 탐색 모드를 구현한다.
• 슬라이드를 격자 기반으로 분할하고 임계값 설정 및 형태학적 연산을 통해 공백 영역을 제외함으로써 조직이 포함된 영역를 체계적으로 검토할 수 있도록 가이드드 스크리닝 모드를 사용한다.
• 주석은 다중 좌표(예: 점 또는 다각형)와 다중 레이블(다른 주석자로부터)로 저장되어 공감대 및 어려움 평가가 가능하다.
• 클릭 앤 드래그 또는 단일 클릭 방식을 사용하여 점 기반(예: 세포 중심) 및 경계 기반(예: 종양 윤곽선) 주석을 모두 지원한다.
• 데이터베이스 모델은 각 주석의 공간 좌표, 생성 순서, 각 주석자별 클래스 레이블을 저장하여 관찰자 간 변동성에 대한 세부 분석이 가능하다.

실험 결과

연구 질문

• RQ1 눈에 보이지 않는 다중 주석자 주석 시스템은 전체 슬라이드 이미지 분석에서 관찰자 간 변동성을 줄이고 레이블 신뢰성을 향상시킬 수 있는가?
• RQ2 가이드드 스크리닝과 탐색 모드는 자유형 탐색에 비해 주석 처리 속도와 완전성을 얼마나 향상시키는가?
• RQ3 SlideRunner의 시간 효율성은 실제 병리학자 워크플로우에서 전통적인 주석 방법과 비교해 어떻게 되는가?
• RQ4 SlideRunner에서의 다중 주석자 공감대 데이터는 전문가 간 불일치 분석을 통해 유형적 대비 모호한 세포 유형을 식별함으로써 커리큘럼 학습을 지원할 수 있는가?
• RQ5 주석 모드(가이드드 대비 자유형)가 특정 슬라이드에서 탐지된 미토시스 수에 전체적으로 어떤 영향을 미치는가?

주요 결과

• 두 병리학자가 첫 주석을 수행한 평균 주석 시간은 각각 6.6초와 6.3초였고, 두 번째 주석에서는 2.0초와 2.6초로 감소하여 학습 효과와 효율성 향상이 뚜렷하게 나타났다.
• Cohen의 가중 카파 값 0.815는 두 병리학자가 세포 유형 분류에서 상당한 일치를 보였음을 나타내었으며, 가장 높은 불일치는 명확한 클래스와 모호한 클래스 사이에서 발생했다.
• 가이드드 스크리닝은 자유형 주석 대비 동일한 슬라이드에서 미토시스 수를 90% 증가시켰다(4,233 대비 2,252), 이는 완전성 향상과 간과 가능성 감소를 시사한다.
• 이 도구는 개의 매크로세포 종양 슬라이드를 대상으로 한 이중 주석 처리, 대규모 데이터베이스를 구축하여 기계학습을 위한 고품질 훈련을 지원하였다.
• 눈에 보이지 않는 주석 모드는 독립적인 레이블링을 효과적으로 지원하였으며, 숨겨진 클래스 레이블이 편향을 방지하고 신뢰할 수 있는 공감대 추정을 가능하게 하였다.
• 도구는 온디맨드 로딩과 효율적인 데이터 구조를 사용하여 매우 큰 전체 슬라이드 이미지를 처리할 수 있어 병리학 워크플로우에서 확장 가능한 실질적 구현을 지원한다.