[논문 리뷰] OpenSRH: optimizing brain tumor surgery using intraoperative stimulated Raman histology

Cheng Jiang, Asadur Chowdury외 8명|PubMed|2022. 06. 16.

Spectroscopy Techniques in Biomedical and Chemical Research참고 문헌 37인용 수 12

한 줄 요약

이 논문은 300명 이상의 뇌종양 환자로부터의 수술 중 자극된 라만 조직학(SRH) 영상이 포함된 공개 데이터셋인 OpenSRH를 소개한다. 이는 빠르고 레이블이 없는 광학 영상 촬영과 딥러닝 기반 진단을 가능하게 하며, SRH와 AI 기반 분류 및 분할을 융합한 프레임워크는 고정확도의 실시간 수술 의사결정 지원을 달성한다. 대조적 표현 학습을 활용한 모델은 다중분류 뇌종양 진단에서 환자 수준으로 95.3%의 정확도를 기록한다.

ABSTRACT

Accurate intraoperative diagnosis is essential for providing safe and effective care during brain tumor surgery. Our standard-of-care diagnostic methods are time, resource, and labor intensive, which restricts access to optimal surgical treatments. To address these limitations, we propose an alternative workflow that combines stimulated Raman histology (SRH), a rapid optical imaging method, with deep learning-based automated interpretation of SRH images for intraoperative brain tumor diagnosis and real-time surgical decision support. Here, we present <i>OpenSRH</i>, the first public dataset of clinical SRH images from 300+ brain tumors patients and 1300+ unique whole slide optical images. OpenSRH contains data from the most common brain tumors diagnoses, full pathologic annotations, whole slide tumor segmentations, raw and processed optical imaging data for end-to-end model development and validation. We provide a framework for patch-based whole slide SRH classification and inference using weak (i.e. patient-level) diagnostic labels. Finally, we benchmark two computer vision tasks: multiclass histologic brain tumor classification and patch-based contrastive representation learning. We hope OpenSRH will facilitate the clinical translation of rapid optical imaging and real-time ML-based surgical decision support in order to improve the access, safety, and efficacy of cancer surgery in the era of precision medicine. Dataset access, code, and benchmarks are available at https://opensrh.mlins.org.

연구 동기 및 목표

• 느린, 자원을 많이 소비하는 수술 중 병리 검사 프로세스로 인한 뇌종양 수술의 핵심적 한계를 해결하기 위해.
• 광학 영상과 AI를 활용해 기존 냉동절편 및 세포진단의 빠르고 표준화되고 정확한 대안을 개발하기 위해.
• 전체 병리학적 주석, 전체 슬라이드 종양 분할 및 원본/처리된 영상 데이터를 포함한 임상적 SRH 영상의 첫 공개 데이터셋인 OpenSRH를 공개하기 위해.
• 신경외과 분야에서 실시간 수술 중 진단을 위한 딥러닝 모델의 엔드 투 엔드 개발 및 검증을 가능하게 하기 위해.
• 빠른 광학 영상 및 AI 기반 의사결정 지원의 임상적 적용을 촉진하기 위해.

제안 방법

• 연구는 자극된 라만 조직학(SRH)을 활용한다. 이는 신선하고 처리되지 않은 수술 생체조직의 고해상도 영상을 2~3분 내에 획득하는 레이블이 없는 광학 영상 기술이다.
• SRH 영상가 두 가지 라만 이동(2845 cm⁻¹ 및 2930 cm⁻¹)에서 촬영되며, 가장자리 잘라내기, 필드 평탄화 및 정렬을 통해 전체 슬라이드 영상으로 조합된다.
• 비중첩 300×300 픽셀 패치에 사전 훈련된 종양 분할 모델을 적용하여 영역을 종양, 정상 뇌 또는 진단 불가로 분류한다.
• 패치 기반 분류와 대조적 표현 학습(SimCLR, SupCon)을 통해 약한 환자 수준의 진단 레이블을 사용해 딥러닝 모델을 훈련시킨다.
• ResNet50 및 비전 트랜스포머(ViT-S) 기반 모델에 대해 ImageNet, SimCLR 및 SupCon 사전 훈련을 평가하여 전이 학습을 수행한다.
• 다중분류 및 표현 학습 작업을 위한 선형 평가 및 미세조정 프로토콜을 모두 지원하는 프레임워크이다.

실험 결과

연구 질문

• RQ1 자극된 라만 조직학(SRH)과 딥러닝을 융합하면 병리학적 인프라가 최소한인 상태에서 빠르고 정확한 뇌종양 수술 중 진단이 가능할 수 있는가?
• RQ2 대조적 표현 학습(SimCLR, SupCon)이 SRH 전체 슬라이드 영상에 대해 ImageNet 사전 훈련 대비 뇌종양 분류 성능에 어떤 영향을 미치는가?
• RQ3 OpenSRH 데이터셋에서 다양한 아키텍처(ResNet50 대비 ViT-S)와 훈련 프로토콜(선형 평가 대비 미세조정)에 따라 모델 성능은 어떻게 변화하는가?
• RQ4 환자 수준의 레이블만을 사용하는 약한 지도 학습이 SRH 영상 분류에서 높은 진단 정확도를 달성할 수 있는 정도는 어느 정도인가?
• RQ5 데이터 모달리티(원본 SRH 대비 처리된 가상의 H&E 염색 영상)가 후속 분류 및 표현 학습 성능에 어떤 영향을 미치는가?

주요 결과

• OpenSRH 데이터셋은 300명 이상의 환자로부터 1300개 이상의 전체 슬라이드 광학 영상으로 구성되어 있으며, 완전한 병리학적 주석, 종양 분할, 원본/처리된 SRH 데이터를 포함한다.
• ResNet50 기반 모델에 SupCon 대조적 표현 학습을 적용한 결과, 다중분류 뇌종양 진단에서 환자 수준으로 95.3%의 정확도를 기록했다.
• SupCon 사전 훈련을 활용한 미세조정은 평균 정밀도(MAP) 94.9%와 환자 수준 분류 정확도 91.7%를 달성하여 ImageNet 및 SimCLR 기반 모델보다 뛰어난 성능을 보였다.
• ViT-S 아키텍처는 SupCon 사전 훈련을 통해 92.2%의 환자 수준 정확도를 기록했으며, 더 작은 모델 크기임에도 강력한 성능을 보였다.
• 대조적 표현 학습(SupCon)은 일반화 능력을 크게 향상시켰으며, 선형 평가에서 91.5%의 정확도와 미세조정에서 94.6%의 정확도를 기록했다.
• 혼동 행렬 분석 결과, 특히 뇌막종 및 전이성 종양에 대해 높은 특이도와 낮은 가짜 음성 비율을 보였으며, 이는 강력한 진단 신뢰성을 시사한다.