[논문 리뷰] DASGAN -- Joint Domain Adaptation and Segmentation for the Analysis of Epithelial Regions in Histopathology PD-L1 Images

Ansh Kapil, Tobias Wiestler외 6명|arXiv (Cornell University)|2019. 06. 26.

AI in cancer detection참고 문헌 15인용 수 19

한 줄 요약

이 논문은 도메인 적응과 의미 분할을 동시에 수행하는 엔드 투 엔드 딥 러닝 프레임워크인 DASGAN을 제안한다. 이는 PD-L1 면역형광염색 히스토파스ولوج리 이미지에서 정확한 종양 간엽세포 분할을 가능하게 한다. 반자동으로 애너테이션된 시토키라틴(CK) 이미지를 활용하고, CycleGAN을 통한 쌍이 없는 이미지 간 번역을 통해 훈련을 위한 합성 PD-L1 이미지를 생성함으로써, 간엽세포 탐지에서 F1 스코어 0.886을 달성하고, 임상적으로 중요한 PD-L1 종양세포(TC) 스코어 추정에 있어서 병리의사 스코어와 0.93의 Lin의 일致계수(Lcc)를 달성하여 최신 기술 수준의 성능을 보였다.

ABSTRACT

The analysis of the tumor environment on digital histopathology slides is becoming key for the understanding of the immune response against cancer, supporting the development of novel immuno-therapies. We introduce here a novel deep learning solution to the related problem of tumor epithelium segmentation. While most existing deep learning segmentation approaches are trained on time-consuming and costly manual annotation on single stain domain (PD-L1), we leverage here semi-automatically labeled images from a second stain domain (Cytokeratin-CK). We introduce an end-to-end trainable network that jointly segment tumor epithelium on PD-L1 while leveraging unpaired image-to-image translation between CK and PD-L1, therefore completely bypassing the need for serial sections or re-staining of slides. Extending the method to differentiate between PD-L1 positive and negative tumor epithelium regions enables the automated estimation of the PD-L1 Tumor Cell (TC) score. Quantitative experimental results demonstrate the accuracy of our approach against state-of-the-art segmentation methods.

연구 동기 및 목표

• PD-L1 면역형광염색 히스토파스ولوج리 이미지에 대한 수동 애너테이션의 부족 문제를 해결하기 위해, 이는 비용이 많이 들고 시간이 오래 소요되는 작업이다.
• 쌍이 없는 CK 및 PD-L1 이미지 간의 결여를 보완하기 위해, 쌍이 없는 이미지 간 번역을 활용하여 CK 도메인의 분할 마스크를 PD-L1 도메인으로 이식한다.
• 도메인 적응과 의미 분할을 동시에 최적화하는 엔드 투 엔드 학습 가능한 모델을 개발하여, 두 단계 접근 방식보다 성능을 향상시킨다.
• 비만성 히스토파스ولوج리 이미지에서의 면역검사억제제 치료 반응 예측을 위한 핵심 바이오마커인 PD-L1 종양세포(TC) 스코어의 자동 추정을 가능하게 한다.
• DASGAN 예측 TC 스코어와 병리의사가 산정한 스코어 간의 높은 일치도를 보여줌으로써 임상적 유의성을 입증한다.

제안 방법

• 색소 분리, 옷수우 임계값 설정, 형태학적 연산을 활용하여 시토키라틴(CK) 염색 이미지에서 경계가 정밀한 간엽세포 분할 마스크를 반자동으로 생성한다.
• 쌍이 없는 이미지 간 번역을 통해 CK 이미지를 실제와 유사한 합성 PD-L1 이미지로 변환하기 위해 CycleGAN을 적용한다. 이 과정에서는 쌍이 없는 이미지나 재염색이 필요하지 않다. 사이클 일致성 적대적 훈련을 사용한다.
• DASGAN 프레임워크 내에서 CycleGAN 번역 네트워크를 의미 분할 헤드와 통합하여, 이미지 번역과 분할의 동시 최적화를 가능하게 한다.
• 실제 PD-L1 애너테이션에 의해 지도되는 분할 헤드를 활용하여, 적대적 손실, 사이클 일치 손실, 분할 교차 엔트로피 손실을 사용해 DASGAN 모델을 엔드 투 엔드로 훈련한다.
• 실제 PD-L1 애너테이션과 함께 생성된 합성 PD-L1 이미지를 사용하여 분할 네트워크를 훈련함으로써, 수동 레이블링에 대한 의존도를 감소시킨다.
• 모델을 확장하여 간엽세포 영역을 PD-L1 양성 또는 음성으로 분류할 수 있도록 하여, 임상적으로 중요한 Tumor Cell(TC) 스코어의 자동 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 쌍이 없는 CK에서 PD-L1 염색 도메인 간 이미지 간 번역이, 쌍이 없는 이미지 없이 의미 분할을 위한 합성 훈련 데이터를 효과적으로 생성할 수 있는가?
• RQ2 단일 엔드 투 엔드 네트워크(DASGAN)에서 도메인 적응과 분할을 동시에 최적화하는 것이, 별도로 도메인 번역과 분할을 훈련하는 두 단계 접근 방식보다 성능이 뛰어나게 되는가?
• RQ3 DASGAN 프레임워크는 실질적인 PD-L1 염색 히스토파스ولوج리 이미지에서 간엽세포 영역의 분할 정확도를, 실질적인 PD-L1 애너테이션으로만 훈련된 모델보다 얼마나 향상시키는가?
• RQ4 DASGAN 모델은 임상적으로 중요한 바이오마커인 PD-L1 종양세포(TC) 스코어를 병리의사 스코어와 높은 일치도로 정확하게 추정할 수 있는가?
• RQ5 특히 낮은 데이터 환경에서, 수동 애너테이션의 가용성 수준에 따라 DASGAN의 성능은 어떻게 변화하는가?

주요 결과

• DASGAN은 이진 간엽세포 분할에서 F1 스코어 0.886, 세 클래스 분류(비양성 PD-L1, 양성 PD-L1, 비간엽세포 영역)에서 F1 스코어 0.850을 달성하여, 실질적인 PD-L1 데이터로만 훈련된 모델(F1 = 0.807/0.805)과 두 단계 접근 방식(F1 = 0.805/0.804)을 모두 능가한다.
• 병리의사 스코어와의 높은 일치도를 보이며, 704장의 미사용된 PD-L1 이미지에서 Lin의 일치계수(Lcc) 0.93과 피어슨 상관계수(Pcc) 0.94를 달성한다.
• DASGAN 예측 TC 스코어와 병리의사가 산정한 스코어 간 평균 절대 오차(MAE)는 7.30으로, 강력한 임상적 신뢰성을 나타낸다.
• 합성 데이터의 성능 향상은 특히 낮은 애너테이션 환경에서 가장 두드러지게 나타나며, 실질적인 애너테이션 자료가 많아도 DASGAN는 F1 스코어를 0.916으로 향상시켜 기준 모델의 0.894보다 높게 유지한다.
• 두 단계 접근 방식(별도의 도메인 적응 및 분할 훈련)은 실질적인 PD-L1 데이터로만 훈련된 모델보다 성능 향상이 없음을 보여, 동시 최적화가 필수적임을 시사한다.
• DASGAN 모델은 PD-L1 양성 및 음성 간엽세포 영역을 성공적으로 구분하여, 임상적으로 중요한 TC 스코어의 자동 계산을 가능하게 한다.