[논문 리뷰] Deep Learning Generates Synthetic Cancer Histology for Explainability and Education

James M. Dolezal, Rachelle Wolk외 21명|arXiv (Cornell University)|2022. 11. 12.

AI in cancer detection인용 수 4

한 줄 요약

이 논문은 종양 분자의 분류에서 딥 뉴럴 네트워크(DNNs)의 설명 가능성을 향상시키기 위해 조건부 생성 적대적 네트워크(cGANs)를 사용하여 고해상도의 합성 암 조직학 영상을 생성하는 것을 제안한다. 이 방법은 분자의 아형과 연관된 형태학적 특징을 시각화할 수 있게 하고, 클래스 및 레이어 블렌딩을 통한 모델의 해석 가능성 향상을 가능하게 하며, 직관적이고 현실적인 학습 예제를 제공함으로써 병리의학자 교육을 지원한다.

ABSTRACT

Artificial intelligence methods including deep neural networks (DNN) can provide rapid molecular classification of tumors from routine histology with accuracy that matches or exceeds human pathologists. Discerning how neural networks make their predictions remains a significant challenge, but explainability tools help provide insights into what models have learned when corresponding histologic features are poorly defined. Here, we present a method for improving explainability of DNN models using synthetic histology generated by a conditional generative adversarial network (cGAN). We show that cGANs generate high-quality synthetic histology images that can be leveraged for explaining DNN models trained to classify molecularly-subtyped tumors, exposing histologic features associated with molecular state. Fine-tuning synthetic histology through class and layer blending illustrates nuanced morphologic differences between tumor subtypes. Finally, we demonstrate the use of synthetic histology for augmenting pathologist-in-training education, showing that these intuitive visualizations can reinforce and improve understanding of histologic manifestations of tumor biology.

연구 동기 및 목표

• 분자의 아형과 연관된 형태학적 특징을 강조하는 합성 영상을 생성함으로써 암 조직학에서 딥 러닝 모델의 설명 가능성을 향상시키는 것.
• 클래스 및 레이어 블렌딩을 통한 합성 조직학의 제어적 조작을 통해 DNN의 의사결정 과정에 대한 세밀한 분석을 가능하게 하는 것.
• 병리의학자 교육을 지원하고 향상시키기 위해 합성 조직학을 활용한 데이터 증강 전략을 개발하는 것.
• 합성 조직학이 생물학적으로 관련 있는 형태학적 패턴을 유지하면서 정확한 모델 해석이 가능함을 검증하는 것.
• 합성 영상이 종양 생물학에 대한 이해를 강화함으로써 효과적인 교육 도구로 기능할 수 있음을 보여주는 것.

제안 방법

• 분자의 종양 아형에 따라 조건이 되는 조건부 생성 적대적 네트워크(cGAN)가 암 조직학의 전체 슬라이드 영상을 합성하도록 훈련된다.
• cGAN 아키텍처는 실감나는 조직학 영상을 합성하는 생성자와 실제 영상과 합성 영상을 구분하는 판별자를 포함하며, 분자의 클래스 레이블에 따라 조건화된다.
• 클래스 블렌딩은 서로 다른 종양 아형의 잠재 코드를 보간하여 중간 형태학적 특징을 가진 영상을 생성하는 데 적용된다.
• 레이어 블렌딩은 생성자의 중간 레이어에서의 특징 맵을 조작하여 아형 간의 형태학적 전이를 탐색하는 데 사용된다.
• 합성 영상은 특정 분자의 분류와 관련된 조직학적 패턴을 시각화함으로써 DNN 예측을 설명하는 데 사용된다.
• 실제 데이터와 합성 데이터에 대한 DNN의 주의 맵과 샐리언시 맵을 비교하여 일관성과 해석 가능성을 평가함으로써 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 cGANs는 알려진 분자의 종양 아형과 관련된 형태학적 특징을 정확히 반영하는 고품질의 합성 암 조직학 영상을 생성할 수 있는가?
• RQ2 합성 조직학은 분자의 아형으로 분류된 종양의 DNN 모델의 설명 가능성을 얼마나 효과적으로 향상시킬 수 있는가?
• RQ3 합성 영상에서 클래스 및 레이어 표현의 제어적 블렌딩을 통해 종양 아형 간의 미세한 형태학적 차이를 드러낼 수 있는가?
• RQ4 합성 조직학 영상가 병리의학자 교육을 얼마나 효과적으로 지원하고 향상시킬 수 있는가?
• RQ5 합성 영상에서 유도된 해석 신호가 실제 조직학 데이터에서의 것과 일치하는가?

주요 결과

• cGAN은 전문 병리의사가 실제 전체 슬라이드 영상과 구별할 수 없을 정도로 고해상도의 합성 조직학 영상을 성공적으로 생성하였다.
• 합성 영상 덕분에 DNN에서 일관되고 의미 있는 주의 맵이 생성되어 분자의 아형과 관련된 형태학적 특징이 드러났다.
• 클래스 블렌딩을 통해 예상되는 종양 아형 간의 형태학적 전이를 반영한 중간 합성 영상이 생성되어 모델의 제어 가능성에 대한 유효성을 입증하였다.
• 레이어 블렌딩을 통해 특정 분자의 상태와 관련된 종양 간질 및 세포핵 패턴의 미세한 구조적 차이가 드러났다.
• 병리의학자 교육 대상자 평가에서 실재 영상만으로 학습하는 것보다 합성 조직학 영상이 종양 생물학의 조직학적 표현 방식에 대한 이해를 향상시켰다.
• 이 방법은 다양한 암 유형과 분자의 아형에 걸쳐 다양하고 생물학적으로 타당한 합성 샘플을 생성하는 데 있어 뛰어난 강건성을 보였다.