[논문 리뷰] Generalizing multistain immunohistochemistry tissue segmentation using one-shot color deconvolution deep neural networks

Amal Lahiani, Jacob Gildenblat외 3명|arXiv (Cornell University)|2018. 05. 17.

AI in cancer detection참고 문헌 25인용 수 10

한 줄 요약

이 논문은 전체 슬라이드 이미지에서 다중면역형광염색(IHC) 염색에 걸쳐 조직 분할을 일반화하는 일회성 색채 분해 딥 뉴럴 네트워크를 제안한다. U-Net 아키텍처에 학습 가능한 색채 분해 레이어를 통합함으로써, 사전에 정의된 염색 기준 벡터가 필요 없이도 훈련 안정성, 수렴 속도 및 다중염색 데이터에 대한 일반화 능력이 향상되었으며, 다양한 염색 프로토콜에서 종양, 건강한 조직, 괴사 조직의 강력한 분할을 달성하였다.

ABSTRACT

A key challenge in cancer immunotherapy biomarker research is quantification of pattern changes in microscopic whole slide images of tumor biopsies. Different cell types tend to migrate into various tissue compartments and form variable distribution patterns. Drug development requires correlative analysis of various biomarkers in and between the tissue compartments. To enable that, tissue slides are manually annotated by expert pathologists. Manual annotation of tissue slides is a labor intensive, tedious and error-prone task. Automation of this annotation process can improve accuracy and consistency while reducing workload and cost in a way that will positively influence drug development efforts. In this paper we present a novel one-shot color deconvolution deep learning method to automatically segment and annotate digitized slide images with multiple stainings into compartments of tumor, healthy tissue, and necrosis. We address the task in the context of drug development where multiple stains, tissue and tumor types exist and look into solutions for generalizations over these image populations.

연구 동기 및 목표

• 암 면역요법 생물표지자 연구에서 수작업, 시간 소모적이고 일관성 없는 조직 주석 처리 문제를 해결하기 위해.
• 약물 개발에서 흔하지만 이전 자동 분할 작업에서 다루지 않은 다중 IHC 염색과 조직 유형에 일반화되는 딥 러닝 방법을 개발하기 위해.
• 고정된 기준 이미지나 단일 염색 가정에 의존하는 기존 염색 정규화 및 색채 분해 방법의 한계를 극복하기 위해.
• 일회성 방식으로 다양한 염색 변형에 적응할 수 있는 학습 가능한 색채 분해 모듈을 갖춘 종단간 훈련을 가능하게 하기 위해.
• 경로학자들이 신뢰할 수 있도록, SmoothGrad 및 클래스 최대화 합성 이미지와 같은 시각화 기법을 통해 모델의 해석 가능성 향상하기 위해.

제안 방법

• 입력 부분에 학습 가능한 색채 분해 레이어를 통합한 U-Net 기반 분할 네트워크를 사용하여, 훈련 중에 염색 특화 분해를 자동으로 학습할 수 있도록 하였다.
• 77장의 전체 슬라이드 이미지(9종의 염색 유형: H&E 및 8종의 IHC 염색)로 구성된 데이터셋을 사용하여, 51장의 훈련 슬라이드와 26장의 테스트 슬라이드로 분할하여 훈련하였다.
• 고해상도 슬라이드를 10× 배율에서 512×512×3 RGB 패치로 겹치는 방식으로 토일링하여 맥락과 계산 가능성의 균형을 확보하였다.
• 경로학자에 의해 주석 처리된 참값 레이블을 4개 클래스(종양, 조직, 괴사, 배제(배경))로 사용하였으며, 극심한 클래스 불균형을 다루기 위해 클래스 균형 전략을 적용하였다.
• 색채 분해 레이어가 역전파 동안 최적화되며, 염색 기저 벡터의 사전 지식이 필요 없이 일회성 훈련 체계를 적용하였다.
• 모델 결정을 해석하고 네트워크의 효과적 수신장역할을 분석하기 위해 SmoothGrad 및 클래스 활성화 지도와 같은 시각화 기법을 활용하였다.

실험 결과

연구 질문

• RQ1 사전에 정의된 염색 기준 이미지에 의존하지 않고도 딥 러닝 모델이 다중 면역형광염색에 걸쳐 조직 분할을 일반화할 수 있는가?
• RQ2 학습 가능한 색채 분해 레이어를 통합함으로써 다중염색 조직병리학 분할에서 훈련 안정성과 수렴 속도는 어떻게 향상되는가?
• RQ3 전 세계 임상 슬라이드 자료에서 염색 변동성을 다루는 데 있어, 제안된 방법이 전통적인 염색 정규화 또는 고정된 분해 접근법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 기본적인 방법과 비교할 때, 학습된 색채 분해 특징는 해석 가능성과 염색 변동성에 대한 강건성 측면에서 어떻게 다른가?
• RQ5 클래스 최대화 합성 이미지 및 기울기 기반 색채 지도와 같은 시각화 기법은 경로학자들이 네트워크의 분할 결정을 효과적으로 이해하는 데 기여하는가?

주요 결과

• 제안된 일회성 색채 분해 모듈은 다중염색 데이터에서 표준 U-Net 훈련에 비해 훈련 수렴 속도와 안정성에 있어 뚜렷한 향상을 보였다.
• 테스트 세트에서 모델은 다양한 염색 프로토콜과 조직 유형에 걸쳐 강건성을 입증하며 개선된 일반화 성능을 달성하였다.
• 색채 분해 레이어의 시각화 결과, H&E 및 여러 IHC 조합을 포함한 다양한 염색 유형에 대해 염색 채널을 효과적으로 분리하는 것을 확인하였다.
• SmoothGrad 분석을 통해 네트워크의 의사결정 과정이 특히 조직 및 괴사 클래스에 대해 충분히 큰 효과적 수신장역할에 의존하고 있음을 확인하였다.
• 특히 높은 염색 변동성이 있는 상황에서, 고정된 염색 기준 벡터나 외부 정규화에 의존하는 기준 모델에 비해 본 방법이 뛰어난 성능을 발휘하였다.
• 해석 가능한 시각화 기법의 통합은 모델의 투명성을 향상시키고, 경로학자들이 자동 분할 결과에 대한 신뢰를 형성하는 데 기여하였다.