[논문 리뷰] Iterative annotation to ease neural network training: Specialized machine learning in medical image analysis

Brendon Lutnick, Brandon Ginley외 8명|arXiv (Cornell University)|2018. 12. 18.

AI in cancer detection참고 문헌 46인용 수 36

한 줄 요약

이 논문은 병리 영상 분석에서 애너테이션 부담을 줄이기 위해 신경망 예측을 Aperio ImageScope WSI 뷰어에 직접 통합하는 반복적이고 인간이 개입하는 애너테이션 프레임워크를 제안한다. 병리의사가 예측을 반복적으로 수정할 수 있도록 함으로써 인간과 동물 조직의 신장 미세구조에 대한 분할 정확도를 향상시키며, 방사선 영상에서 전립선 샘 분할에 대해서도 적용 가능성을 입증하여 최소한의 전문가 레이블링 노력으로도 견고한 성능을 달성한다.

ABSTRACT

Neural networks promise to bring robust, quantitative analysis to medical fields, but adoption is limited by the technicalities of training these networks. To address this translation gap between medical researchers and neural networks in the field of pathology, we have created an intuitive interface which utilizes the commonly used whole slide image (WSI) viewer, Aperio ImageScope (Leica Biosystems Imaging, Inc.), for the annotation and display of neural network predictions on WSIs. Leveraging this, we propose the use of a human-in-the-loop strategy to reduce the burden of WSI annotation. We track network performance improvements as a function of iteration and quantify the use of this pipeline for the segmentation of renal histologic findings on WSIs. More specifically, we present network performance when applied to segmentation of renal micro compartments, and demonstrate multi-class segmentation in human and mouse renal tissue slides. Finally, to show the adaptability of this technique to other medical imaging fields, we demonstrate its ability to iteratively segment human prostate glands from radiology imaging data.

연구 동기 및 목표

• 의료 영상 분석을 위한 딥 뉴럴 네트워크 훈련에서 애너테이션 부담을 줄이기 위해.
• 모델 예측을 표준 WSI 뷰잉 워크플로우에 통합하여 병리의사와 신경망 개발자 간 격차를 메우기 위해.
• 반복적 전문가 피드백을 통해 모델 성능을 향상시키는 스케일러블하고 상호작용 가능한 파이프라인을 개발하기 위해.
• 전체 슬라이드 영상에서 복잡한 신장 조직 해부학적 구조를 분할하는 데 이 방법의 효과성을 입증하기 위해.
• 병리학 및 방사선학을 포함한 다양한 의료 영상 모odalities에서 이 접근법의 타당성을 검증하기 위해.

제안 방법

• 이 방법은 Aperio ImageScope 뷰어 내부에 신경망 예측을 오버레이하는 커스터마이징된 인터페이스를 사용하며, 이는 병리학에서 표준 도구이다.
• 병리의사가 단순한 애너테이션 인터페이스를 통해 예측을 반복적으로 수정하고, 변경 사항은 모델 재학습에 피드백된다.
• 시스템은 반복 과정 동안 모델 성능을 추적하며, 각 피드백 라운드에서 분할 정확도 향상을 정량화한다.
• U-Net 기반 딥 러닝 모델이 인간과 마우스 신장 미세구조 및 전립선 샘의 의미적 분할에 사용된다.
• 이 파이프라인은 다중 클래스 분할을 지원하여 인간과 마우스 신장 조직 내 복잡한 조직 구조의 구분이 가능하다.
• 이 방법은 다른 영상 모달리티로도 이식 가능하며, 방사선 영상에서 전립선 샘 분할을 통해 이를 입증하였다.

실험 결과

연구 질문

• RQ1 상호작용적이고 인간이 개입하는 애너테이션 시스템은 의료 영상 분할을 위한 고품질 훈련 데이터를 생성하는 데 소요되는 시간과 노력을 줄일 수 있는가?
• RQ2 모델 예측의 반복적 수정이 복잡한 신장 조직 해부학적 구조를 분할하는 데 있어 딥 뉴럴 네트워크의 성능에 어떤 영향을 미치는가?
• RQ3 이 프레임워크는 병리학 및 방사선학과 같은 다양한 의료 영상 분야로 일반화될 수 있는 정도는 어느 정도인가?
• RQ4 여러 라운드의 전문가 피드백 이후 분할 정확도에서 나타나는 정량적 향상은 무엇인가?
• RQ5 모델 예측을 표준 WSI 뷰어에 통합함으로써 병리의사의 워크플로우와 애너테이션 효율성은 어떻게 영향을 받는가?

주요 결과

• 반복적 애너테이션 파이프라인이 인간 및 마우스 전체 슬라이드 영상에서 신장 미세구조의 분할 정확도를 향상시키며 애너테이션 부담을 크게 줄였다.
• 모든 반복 과정에서 성능 향상이 관찰되어 전문가 피드백을 통한 활성 학습이 모델 성능의 빠른 수렴을 이끌어낸다.
• 고정밀도 공간 정밀도를 확보한 채로, 신장 조직 구조(신우, 난관, 간질 등)의 견고한 다중 클래스 분할을 달성하였다.
• 이 프레임워크는 방사선 영상에서 전립선 샘 분할에 성공적으로 적용되어 이식 가능성의 타당성을 확인하였다.
• 표준 Aperio ImageScope 인터페이스에 예측을 통합함으로써 워크플로우 효율성이 향상되었고 전문가 피드백의 부담이 감소하였다.
• 정량적 결과로는 여러 반복 주기 동안 DICE 스코어가 일관되게 향상되었으며, 3~5회의 피드백 사이클 이후 성능이 안정화됨을 확인하였다.