[논문 리뷰] Inference of captions from histopathological patches

Masayuki Tsuneki, Fahdi Kanavati|arXiv (Cornell University)|2021. 12. 17.

AI in cancer detection인용 수 5

한 줄 요약

이 논문은 위선암의 H&E 염색 전체 슬라이드 영상에서 유래한 262,777개의 조직병리학적 패치와 임상 보고서에서 추출한 진단 서술문을 포함하는 대규모 데이터셋인 PatchGastricADC22을 소개한다. 사전 훈련된 CNN 특징(EfficientNetB3 및 DenseNet121)을 사용하는 주의 기반 RNN 모델을 통해, 실제 임상 데이터 환경에서 패치 컬렉션으로부터의 서술 생성에 있어 유망한 성능을 달성하였으며, BLEU@4 점수는 0.324 (±0.354)를 기록하였다.

ABSTRACT

Computational histopathology has made significant strides in the past few years, slowly getting closer to clinical adoption. One area of benefit would be the automatic generation of diagnostic reports from H\&E-stained whole slide images which would further increase the efficiency of the pathologists' routine diagnostic workflows. In this study, we compiled a dataset (PatchGastricADC22) of histopathological captions of stomach adenocarcinoma endoscopic biopsy specimens, which we extracted from diagnostic reports and paired with patches extracted from the associated whole slide images. The dataset contains a variety of gastric adenocarcinoma subtypes. We trained a baseline attention-based model to predict the captions from features extracted from the patches and obtained promising results. We make the captioned dataset of 262K patches publicly available.

연구 동기 및 목표

• 새로운 수동 애너테이션을 필요로 하지 않고 조직병리학적 패치에서 진단 서술문을 생성하는 방법을 개발하는 것.
• 실제 임상 전체 슬라이드 영상과 보고서에서 유래한 대규모이고 철저히 정제된 패치-서술문 쌍 데이터셋을 구축하여 의료 비전-언어 모델링에 활용하는 것.
• 주의 기반 모델이 위선암의 다수 패치에서 임상적으로 관련성이 있는 서술문을 생성하는 데 성능을 평가하는 것.
• 기존의 비정형 임상 보고서를 활용하여 병리학 컴퓨팅에서 비전-언어 모델을 훈련시키는 것이 가능한지 탐색하는 것.
• 미래의 조직병리학 보고서 생성 연구를 가속화하기 위해 공개 가능한 데이터셋을 제공하는 것.

제안 방법

• 한 병원에서 수집한 991개의 H&E 염색 전체 슬라이드 영상(모두 선암으로 진단됨)을 x20 배율에서 디지털화하였다.
• 선암 병변이 포함된 영역에서 x10 및 x20 배율로 300x300px 크기의 패치를 추출하였으며, 비종양 패치 포함을 최소화하기 위해 느슨한 애너테이션을 사용하였다.
• 기존 임상 보고서에서 진단 서술문을 추출하고 전문 병리의사가 영어로 번역하여, 어휘는 277개어휘로 구성되며 문장 최대 길이는 50어휘였다.
• CNN 인코더(EfficientNetB3 또는 DenseNet121)를 사용하여 특징 추출하고, RNN 디코더를 사용하여 자동 회귀적 서술문 생성을 수행하는 주의 기반 RNN 모델을 훈련시켰다.
• 데이터 증강을 적용하고, 최종 특징 맵에 대해 3x3 최대 풀링 및 전역 평균 풀링 두 가지 전략을 비교하였다.
• BLEU@4 및 평균 1/2-그램 겹침 지표를 사용하여 모델 성능을 평가하였으며, 선암 아형 및 모델 설정에 따라 전략적으로 분류하였다.

실험 결과

연구 질문

• RQ1 비전-언어 모델은 전체 슬라이드 영상에서 추출한 조직병리학적 패치 컬렉션으로부터 임상적으로 관련성이 있는 진단 서술문을 생성할 수 있는가?
• RQ2 캡션 다양성이 제한된 데이터셋으로 훈련된 경우, 다양한 선암 아형 간에 모델 성능은 어떻게 변화하는가?
• RQ3 데이터 증강 및 풀링 전략(3x3 vs. 평균)은 조직병리학 패치의 서술문 생성 성능에 영향을 미치는가?
• RQ4 사전 훈련된 CNN(EfficientNetB3, DenseNet121)이 목표 도메인에 대한 미세조정 없이 조직병리학 서술문 생성에 얼마나 일반화될 수 있는가?
• RQ5 한 병원의 임상 보고서로 훈련된 모델은 병리학 컴퓨팅의 후속 응용 분야에서 충분히 유용하게 일반화될 수 있는가?

주요 결과

• 데이터 증강과 x20 배율에서 3x3 최대 풀링을 사용한 EfficientNetB3 기반 모델이 가장 뛰어난 성능을 보였으며, BLEU@4 점수는 0.324 (±0.354)를 기록하여 기준 서술문과의 합리적인 일치를 보였다.
• 동일한 최고 성능 모델에서 평균 1/2-그램 겹침 비율이 가장 높았으며(0.744 ± 0.269), 이는 예측된 서술문에서 선암 아형을 잘 인식하고 있음을 시사했다.
• 데이터셋에 더 많이 포함된 아형, 예를 들어 잘 분화된 및 중간 분화된 관상선암의 경우 BLEU@4 점수가 더 높았으며, 이는 데이터 클래스 불균형이 성능에 영향을 준다는 것을 시사한다.
• BLEU@4의 표준편차가 높아(최대 ±0.354) 사례 간 성능 변동이 심각하며, 일부 예측은 거의 쓸모없는 수준(BLEU < 0.1)이었다.
• 모델의 주요 오류 유형은 아형 식별이 아니라 형태학적 기술에 있었다. 이는 아형 용어에 대해 높은 1/2-그램 겹침 비율을 보이며 뒷받침된다.
• 데이터셋인 PatchGastricADC22는 991개의 전체 슬라이드 영상에서 유래한 262,777개의 패치를 포함하며, 향후 조직병리학 보고서 생성 연구를 지원하기 위해 공개되었다.