[논문 리뷰] Improving Unsupervised Stain-To-Stain Translation using Self-Supervision and Meta-Learning

Nassim Bouteldja, Barbara M. Klinkhammer외 3명|arXiv (Cornell University)|2021. 01. 01.

AI in cancer detection인용 수 2

한 줄 요약

이 논문은 신장 조직병리학에서 비지도 스tain-투-스테인 번역을 가능하게 하여 스테인에 영향을 받지 않는 분할을 실현하기 위해 자기지도 학습 및 메타학습을 통합한 CycleGAN을 제안한다. 사전에 학습된 분할 네트워크를 통한 의미적 가이던스와 재구성의 모호성을 줄이기 위해 추가 채널을 도입함으로써, 복합 구조물인 기질, 난관, 정맥에 대해 인스턴스 수준의 Dice 스코어가 78–92%를 기록한다. 그러나 동맥은 여전히 낮은 번역 정확도를 보이며, 현재의 방법으로는 보편적으로 적용 가능한 시뮬레이션된 스테인을 달성하는 데에 한계가 있음을 시사한다.

ABSTRACT

In digital pathology, many image analysis tasks are challenged by the need for large and time-consuming manual data annotations to cope with various sources of variability in the image domain. Unsupervised domain adaptation based on image-to-image translation is gaining importance in this field by addressing variabilities without the manual overhead. Here, we tackle the variation of different histological stains by unsupervised stain-to-stain translation to enable a stain-independent applicability of a deep learning segmentation model. We use CycleGANs for stain-to-stain translation in kidney histopathology, and propose two novel approaches to improve translational effectivity. First, we integrate a prior segmentation network into the CycleGAN for a self-supervised, application-oriented optimization of translation through semantic guidance, and second, we incorporate extra channels to the translation output to implicitly separate artificial meta-information otherwise encoded for tackling underdetermined reconstructions. The latter showed partially superior performances to the unmodified CycleGAN, but the former performed best in all stains providing instance-level Dice scores ranging between 78% and 92% for most kidney structures, such as glomeruli, tubules, and veins. However, CycleGANs showed only limited performance in the translation of other structures, e.g. arteries. Our study also found somewhat lower performance for all structures in all stains when compared to segmentation in the original stain. Our study suggests that with current unsupervised technologies, it seems unlikely to produce generally applicable simulated stains.

연구 동기 및 목표

• 단일 스테인으로 학습된 딥 러닝 모델의 일반화를 방해하는 디지털 병리학에서의 스테인 간 변동성을 해결한다.
• 복잡한 조직학적 구조물(예: 동맥)을 번역하는 데 있어 기존의 비지도 도메인 적응 방법의 한계를 극복한다.
• 대상 스테인에 대한 수동 레이블링이 필요 없이 시뮬레이션된 스테인으로 학습함으로써 스테인에 영향을 받지 않는 분할을 가능하게 한다.
• 자기지도 학습과 메타학습을 활용해 실용적인 응용을 고려한 이미지 번역이 가능할지 여부를 조사하여 번역의 정확도를 향상시킨다.
• 후속 분할 작업을 위한 진단적으로 관련된 형태학적 특징을 유지하는 '일반적으로 적용 가능한' 시뮬레이션된 스테인을 생성할 수 있는지 평가한다.

제안 방법

• 신장 조직병리학에서 면역형광염색(IHC) 스테인과 페리오딕산-시프 스트레인(PAS) 간의 비지도 스테인-투-스테인 번역을 위해 CycleGAN을 적응한다.
• 임상적으로 관련된 구조물을 유지하기 위해 사전에 학습된 U-Net 분할 네트워크를 자기지도 손실로 통합하여 번역을 가이던스한다.
• 재구성의 모호성을 줄이기 위해 생성자 출력에 추가 기능 채널을 도입하여 메타정보를 암묵적으로 인코딩한다.
• 구조적 정밀도를 향상시키기 위해 사이클 일致성 손실, 적대적 손실, 분할 기반의 지각적 손실을 함께 사용하여 모델을 종합적으로 훈련시킨다.
• 훈련 중에 분할 네트워크의 예측 결과를 미분 가능한 감독 신호로 활용하여 번역 과정을 의미적 작업 목표와 일치시킨다.
• 훈련된 모델을 사용해 IHC로 염색된 신장 슬라이드를 PAS 유사한 외관으로 번역하여 후속 분할 평가를 수행한다.

실험 결과

연구 질문

• RQ1 분할 네트워크를 통한 자기지도 의미적 가이던스가 디지털 병리학에서 비지도 스테인-투-스테인 번역의 품질과 작업 관련성에 기여하는가?
• RQ2 생성자 출력에 추가적인 채널이 복잡한 구조물에 대해 번역의 모호성을 얼마나 효과적으로 해결하는가?
• RQ3 실제 PAS로 염색된 슬라이드에서 학습된 분할 모델이 CycleGAN 기반 방법으로 번역된 IHC 스트레인 이미지에 대해 얼마나 잘 일반화되는가?
• RQ4 어느 조직학적 구조물(예: 기질, 난관, 동맥)이 가장 신뢰성 있게 번역되는가? 번역 성능을 제한하는 요인은 무엇인가?
• RQ5 현재의 비지도 방법을 사용해 진단 분석에 적합한 형태학적 정밀도를 유지하는 '일반적으로 적용 가능한' 시뮬레이션된 스테인을 생성하는 것이 가능한가?

주요 결과

• 분할 네트워크를 통합한 모델이 가장 높은 성능을 기록하였으며, 모든 스트레인에서 기질, 난관, 정맥에 대해 인스턴스 수준의 Dice 스코어가 78%에서 92%까지 변동하였다.
• 동맥의 번역 성능은 여전히 열악하였으며, 구조물이 종종 난관과 혼동되어 비지도 학습에서 미세한 형태학적 특징을 포착하는 데에 한계가 있음을 시사한다.
• 번역된 이미지의 미세한, 인지하기 어려운 변화가 분할 예측 가능성에 상당한 영향을 미쳤으며, 이는 Dice 스코어 분포의 높은 표준편차로 확인되었다.
• 실제 PAS로 염색된 이미지보다 번역된 이미지에서의 분할 성능이 항상 낮게 나타나, 현재의 번역 방법이 모든 진단적으로 관련된 특징을 완전히 유지하지 못하고 있음을 시사한다.
• 분할을 통한 자기지도 학습의 통합은 주요 신장 구조물의 번역 정밀도를 향상시켜, 작업에 특화된 최적화의 가치를 입증하였다.
• 본 연구는 현재의 비지도 방법으로는 보편적으로 적용 가능한 시뮬레이션된 스테인을 생성하는 것이 여전히 매우 어렵다는 결론을 내리며, 지속적인 구조적 및 형태학적 불일치가 문제로 남아 있음을 지적한다.