[논문 리뷰] Learning a low dimensional manifold of real cancer tissue with PathologyGAN

Adalberto Claudio Quiros, Roderick Murray‐Smith외 1명|arXiv (Cornell University)|2020. 04. 13.

AI in cancer detection참고 문헌 32인용 수 5

한 줄 요약

이 논문은 PathologyGAN에서 유도된 훈련된 인코더를 사용하여 실제 암 조직 영상들을 해석 가능한 저차원 잠재 공간으로 매핑하는 딥 생성 모델인 PathologyGAN-Encoder를 제안한다. 이 방법은 암세포, 림프구, 간질 밀도와 같은 조직 형태학적 특성의 분리된 표현을 학습하여 고위험 환자에서 명확한 클러스터를 드러내며, 잠재 공간이 5년 생존 결과와 정렬됨을 보여준다.

ABSTRACT

Application of deep learning in digital pathology shows promise on improving disease diagnosis and understanding. We present a deep generative model that learns to simulate high-fidelity cancer tissue images while mapping the real images onto an interpretable low dimensional latent space. The key to the model is an encoder trained by a previously developed generative adversarial network, PathologyGAN. We study the latent space using 249K images from two breast cancer cohorts. We find that the latent space encodes morphological characteristics of tissues (e.g. patterns of cancer, lymphocytes, and stromal cells). In addition, the latent space reveals distinctly enriched clusters of tissue architectures in the high-risk patient group.

연구 동기 및 목표

• 임상 레이블이 필요 없이 조직 형태학적 특성을 캡처하는 비지도 표현 학습 프레임워크를 개발하는 것.
• 실제 H&E 염색 암 조직 영상들을 생물학적으로 의미 있는 조직 구조를 유지하는 저차원 잠재 공간으로 매핑할 수 있도록 하는 것.
• 잠재 공간이 종양 미세환경 이질성 및 환자 생존 결과와 같은 임상적으로 관련된 특징을 캡처하는지 조사하는 것.
• 잠재 공간이 고위험 환자군과 관련된 명확한 조직 구조 클러스터를 드러내는지 보여주는 것.
• 이해 가능한 생성 모델을 제공하여, 훈련된 인코더를 통해 영상 합성과 표현 학습을 동시에 지원하는 것.

제안 방법

• BigGAN과 StyleGAN 기반의 조건부 GAN인 PathologyGAN을 변형하여 분리된 잠재 표현을 가진 고해상도의 암 조직 영상을 생성하는 데 사용한다.
• 실제 조직 영상들을 생성기의 잠재 공간으로 매핑하는 훈련 가능한 인코더 네트워크를 도입하며, 이는 생성기의 역함수 역할을 한다.
• 사전 훈련된 생성기를 기반으로 유도된 적대적 목적함수를 사용하여 인코더를 훈련시켜, 형태학적 특성을 유지하는 잠재 코드를 재구성할 수 있도록 한다.
• 중간 해상도에서 잔차 블록과 AdaIN 정규화, 그리고 주의 메커니즘(attention) 레이어를 사용하여 생성기 및 판별기의 특징 표현을 향상시킨다.
• 인코더에 200차원의 잠재 공간을 사용하여 조직 형태학적 특성을 압축하면서도 정보가 풍부한 표현을 가능하게 한다.
• 모든 네트워크에 특징별 전환(Feature-wise transformations)과 LeakyReLU(0.2)를 적용하여 훈련 안정성 향상과 특징 학습 향상을 도모한다.

실험 결과

연구 질문

• RQ1 훈련된 인코더가 실제 암 조직 영상들을 생물학적으로 관련된 형태학적 특징을 캡처하는 저차원 잠재 공간으로 매핑할 수 있는가?
• RQ2 학습된 잠재 공간이 암세포 밀도, 림프구 침윤, 간질 구조와 같은 핵심 조직 특성을 분리하는가?
• RQ3 5년 생존 상태에 기반해 고위험 환자군과 관련된 잠재 공간 내의 명확한 클러스터가 존재하는가?
• RQ4 잠재 공간이 장기 생존자와 단기 생존자 군 간의 조직 구조적 차이를 드러내는가?
• RQ5 명시적 감독 없이도 잠재 공간이 임상적으로 의미 있는 패턴을 얼마나 잘 유지하는가?

주요 결과

• 인코더는 실제 H&E 염색 암 조직 영상들을 암세포, 림프구, 간질세포 밀도 등의 형태학적 특징을 캡처하는 200차원의 잠재 공간으로 성공적으로 매핑한다.
• 잠재 공간 분석을 통해 고위험 환자군과 관련된 명확하고 풍부한 클러스터가 드러나며, 임상적 생존 결과와 일치함을 확인하였다.
• 5년 미만 생존 환자와 5년 이상 생존 환자 간의 조직 형태학적 밀도 차이를 모델이 잘 포착하여 이전 임상 연구 결과와 일치함을 확인하였다.
• 잠재 공간은 조직 구조적 특성의 분리된 표현을 보이며, 이해 가능한 클러스터링과 표현 학습을 가능하게 한다.
• 이 프레임워크는 레이블이 없는 상태에서도 조직 구조의 비지도 정량화를 가능하게 하며, 주어진 레이블 없이도 생물학적으로 의미 있는 패턴을 드러낸다.
• PathologyGAN-Encoder 모델은 고해상도의 조직 영상 생성을 달성하며, 디지털 병리학 분석의 후속 작업에 대해 강력하고 이해 가능한 표현을 제공한다.