[논문 리뷰] HistoCartography: A Toolkit for Graph Analytics in Digital Pathology

Guillaume Jaume, Pushpak Pati외 3명|arXiv (Cornell University)|2021. 07. 21.

AI in cancer detection참고 문헌 28인용 수 10

한 줄 요약

HistoCartography는 컴퓨팅 병리학에서 그래프 분석을 표준화하기 위해 이미지 전처리, 엔티티-그래프 구축, GNN 기반 학습, 해석 가능성 도구를 통합한 오픈소스 파이썬 툴킷입니다. 이는 조직 구성 분석을 위한 효율적이고 재현 가능한 워크플로우를 가능하게 하며, 다양한 히스토파스ولوج리 데이터셋에서 분류 및 분할 작업에서 최신 기술 수준의 성능을 달성하며, 대규모 월드슬라이드 이미지에서 실시간 추론을 지원합니다.

ABSTRACT

Advances in entity-graph based analysis of histopathology images have brought in a new paradigm to describe tissue composition, and learn the tissue structure-to-function relationship. Entity-graphs offer flexible and scalable representations to characterize tissue organization, while allowing the incorporation of prior pathological knowledge to further support model interpretability and explainability. However, entity-graph analysis requires prerequisites for image-to-graph translation and knowledge of state-of-the-art machine learning algorithms applied to graph-structured data, which can potentially hinder their adoption. In this work, we aim to alleviate these issues by developing HistoCartography, a standardized python API with necessary preprocessing, machine learning and explainability tools to facilitate graph-analytics in computational pathology. Further, we have benchmarked the computational time and performance on multiple datasets across different imaging types and histopathology tasks to highlight the applicability of the API for building computational pathology workflows.

연구 동기 및 목표

• 컴퓨팅 병리학에서 엔티티-그래프 기반 분석을 위한 표준화되고 재사용 가능한 도구의 부족을 해결하기 위해.
• 전처리, 그래프 구축, GNN 모델링, 해석 가능성 도구를 하나의 API에 통합하여 그래프 기반 방법의 도입 기술적 장벽을 낮추기 위해.
• 연구자들이 저수준 컴포넌트를 다시 만들지 않고도 재현 가능하고 확장 가능한 워크플로우를 구축할 수 있도록 하기 위해.
• 다양한 히스토파스ولوج리 작업 및 영상 모odalities에서 그래프 기반 접근 방식의 성능 및 계산 효율성을 기준화하기 위해.
• 그래프기반 해석 방법인 GraphGradCAM과 같은 병리학자에게 친화적인 설명 방법을 통합하여 모델의 해석 가능성 향상시키기 위해.

제안 방법

• 툴킷은 월드슬라이드 이미지의 전처리(예: 염색 정규화, 조직 탐지) 및 패치 추출을 통합한 표준화된 파이썬 API를 제공합니다.
• 엔티티-그래프는 세포핵 또는 슈퍼픽셀 기반 분할을 통해 구축되며, 노드는 생물학적 엔티티를 나타내고, 엣지는 k-NN 또는 공간적 근접성에 의해 정의됩니다.
• 노드 특징은 엔티티 중심의 $224 \times 224$ 패치에 대해 사전 학습된 ResNet34를 사용하여 추출되어 이식 가능한 표현을 보장합니다.
• 그래프 구조는 $k=5$로 설정된 임계값 적용된 k-NN를 사용하며, 50픽셀 거리 임계값을 적용하여 공간적 관련성을 확보합니다.
• 분류 및 분할 작업을 위해 PNA 및 GIN 레이어를 사용한 64 또는 128개의 히든 유닛을 가진 CG-GNN, TG-GNN, HACT-Net, SegGini 등의 GNN 모델이 구현됩니다.
• 해석 가능성은 GraphGradCAM을 통해 활성화되며, 훈련된 GNN에 대해 후행적 특징 기여도를 사용하여 노드 수준의 중요도 맵을 계산합니다.

실험 결과

연구 질문

• RQ1 통합된 오픈소스 파이썬 툴킷이 그래프 기반 컴퓨팅 병리학 워크플로우 개발을 간소화할 수 있는가?
• RQ2 HistoCartography 내 그래프 기반 모델의 성능는 다양한 히스토파스ولوج리 작업 및 영상 유형에서 어떻게 비교되는가?
• RQ3 이 툴킷은 다양한 확대율과 크기를 가진 대규모 월드슬라이드 이미지에서 실시간 추론을 얼마나 잘 지원하는가?
• RQ4 병리학자가 이해할 수 있는 설명 기능을 갖춘 그래프 기반 모델이 진단 작업에서 전통적인 CNN 기반 접근 방식을 능가할 수 있는가?
• RQ5 생물학적 지식(예: 세포핵, 샘관)의 통합은 모델의 해석 가능성과 임상적 관련성을 얼마나 향상시키는가?

주요 결과

• HistoCartography는 HACT-Net을 사용하여 BRACS 데이터셋에서 종양 분류 작업에서 가중 평균 F1 스코어 61.5±0.9를 달성하여 기준 모델을 초월했습니다.
• BACH 데이터셋에서는 TRoI(종양 영역 관심) 입력을 사용해 가중 평균 F1 스코어 90.7±0.5를 기록하여 유방암 분류 작업에서 뛰어난 성능을 보였습니다.
• 전립선암 분할 작업에서는 SegGini가 TMA 이미지에서 딱도 스코어 66.0±3.1, UZH 및 SICAPv2 데이터셋의 월드슬라이드 이미지에서 44.3±2.0을 기록했습니다.
• 툴킷은 최대 $121 \times 10^6$ 픽셀 크기의 그래프에서 거의 실시간 추론을 가능하게 하여 월드슬라이드 이미지 전반에 걸친 확장성 입증했습니다.
• GraphGradCAM은 각 이미지당 가장 중요한 10개의 세포핵을 강조하여 병리학자가 이해할 수 있는 설명을 제공하여 모델의 투명성을 향상시켰습니다.
• 기준화된 성능 결과는 엔티티-그래프와 GNN의 조합이 조직 구성성을 효과적으로 모델링하고 여러 작업에서 전통적인 CNN 기반 접근 방식을 능가할 수 있음을 확인했습니다.