[논문 리뷰] EXACT: A collaboration toolset for algorithm-aided annotation of almost everything.

Christian Marzahl, Marc Aubreville외 7명|arXiv (Cornell University)|2020. 04. 30.

AI in cancer detection참고 문헌 16인용 수 4

한 줄 요약

EXACT는 전체 슬라이드 이미지 및 고용량 이미지 시리즈를 포함한 대규모 이미지 데이터에 대한 다분야적 애너테이션을 위한 오픈소스이자 공동 작업 플랫폼이다. 버전 관리, 플러그인 기반 분석(예: 딥러닝, 검증 뷰) 및 알고리즘 지원을 통합하여 의료 병리학 및 생음향학과 같은 다양한 분야에서 고품질이고 재현 가능한 애너테이션을 간소화한다.

ABSTRACT

In many research areas scientific progress is accelerated by multidisciplinary access to image data and their interdisciplinary annotation. However, keeping track of these annotations to ensure a high-quality multi purpose data set is a challenging and labour intensive task. We developed the open-source online platform EXACT (EXpert Algorithm Cooperation Tool) that enables the collaborative interdisciplinary analysis of images from different domains online and offline. EXACT supports multi-gigapixel whole slide medical images, as well as image series with thousands of images. The software utilises a flexible plugin system that can be adapted to diverse applications such as counting mitotic figures with the screening mode, finding false annotations on a novel validation view, or using the latest deep learning image analysis technologies. This is combined with a version control system which makes it possible to keep track of changes in data sets and, for example, to link the results of deep learning experiments to specific data set versions. EXACT is freely available and has been applied successfully to a broad range of annotation tasks already, including highly diverse applications like deep learning supported cytology grading, interdisciplinary multi-centre whole slide image tumour annotation, and highly specialised whale sound spectroscopy clustering.

연구 동기 및 목표

• 다양한 분야의 연구 팀 간에 고품질의 다목적 애너테이션 이미지 데이터셋을 효과적으로 관리하는 데 도전하는 데 목적이 있다.
• 전체 슬라이드 이미지 및 이미지 시리즈와 같은 대규모 이미지의 애너테이션에서 노동 강도와 오류율을 줄이는 데 목적이 있다.
• 딥러닝 및 알고리즘 기반 검증을 애너테이션 워크플로우에 통합하여 정확성과 재현 가능성을 향상시키는 데 목적이 있다.
• 다양한 기관과 분야 간의 공동 작업형, 버전 관리 기반 애너테이션을 지원하는 데 목적이 있다.
• 세포학에서 생음향학에 이르기까지 다양한 과학적 응용 분야에 적응 가능한 유연한 오픈소스 플랫폼을 제공하는 데 목적이 있다.

제안 방법

• EXACT은 플러그인 아키텍처를 통해 다양한 애너테이션 및 분석 작업을 지원하는 웹 기반 오픈소스 플랫폼을 사용한다.
• 스케일러블 렲딩 및 데이터 처리를 통해 기가픽셀 이상의 전체 슬라이드 이미지 및 수천 장의 이미지로 구성된 대규모 이미지 시리즈를 지원한다.
• 특정 데이터셋 버전과 연결된 애너테이션 변경 사항을 추적하기 위해 버전 관리 시스템을 포함한다.
• 플러그인은 미토시스도 계수, 검증 뷰를 통한 잘못된 애너테이션 탐지, 딥러닝 모델 통합과 같은 전문화된 기능을 가능하게 한다.
• 오프라인 및 온라인 공동 작업을 지원하여 팀과 기관 간의 데이터 일관성과 재현 가능성을 확보한다.
• 모델 출력물을 특정 애너테이션 버전과 연결함으로써 딥러닝 파ip라인과의 상호운용성을 지원한다.

실험 결과

연구 질문

• RQ1 다양한 분야의 팀 간에 대규모 과학적 이미지의 공동 애너테이션을 어떻게 확장 가능하고 재현 가능한 방식으로 수행할 수 있는가?
• RQ2 알고리즘 지원은 애너테이션 정확성을 향상시키고 수동 작업을 줄이는 데 어떤 역할을 할 수 있는가?
• RQ3 버전 관리는 데이터 라인리지와 재현 가능성을 보장하기 위해 이미지 애너테이션 워크플로우에 어떻게 효과적으로 통합될 수 있는가?
• RQ4 플러그인 기반 아키텍처는 다양한 과학 분야에서 서로 다른 애너테이션 요구사항을 어떻게 지원할 수 있는가?
• RQ5 딥러닝 및 검증 도구의 통합은 애너테이션 데이터셋의 품질과 일관성에 어떤 영향을 미치는가?

주요 결과

• EXACT은 기가픽셀 이상의 전체 슬라이드 이미지 및 수천 장의 이미지로 구성된 대규모 이미지 시리즈에 대한 공동 애너테이션을 성공적으로 지원한다.
• 플러그인을 통한 고정밀도 애너테이션을 가능하게 하며, 미토시스도 계수용 스크리닝 모드와 잘못된 애너테이션 탐지용 검증 뷰를 포함한다.
• EXACT의 버전 관리는 연구자가 애너테이션 변경 사항을 추적하고 특정 데이터셋 버전과 딥러닝 실험 결과를 연결할 수 있도록 한다.
• 이 시스템은 딥러닝 기반 세포학 등급 매기기 및 병리학에서의 다기관 종양 애너테이션 등 다양한 분야에 적용되었다.
• EXACT은 복잡한 과학적 환경에서 일관성 있고 재현 가능하며 확장 가능한 애너테이션 워크플로우를 제공함으로써 다학제적 공동 작업을 촉진한다.
• 플랫폼의 오픈소스 성격과 플러그인 아키텍처 덕분에 고도로 전문화된 응용 분야, 예를 들어 고래 소리 스펙트로그램 클러스터링 등에의 배포가 가능해졌다.