[논문 리뷰] Digital staining in optical microscopy using deep learning -- a review

Lucas Kreiß, Shaowei Jiang외 14명|arXiv (Cornell University)|2023. 03. 14.

Image Processing Techniques and Applications참고 문헌 150인용 수 4

한 줄 요약

이 리뷰는 딥러닝 기반 디지털 염색 기술의 최신 동향을 종합적으로 분석한다. 이 기술은 신경망을 활용해 레이블이 없는 광학 대비(예: 위상 또는 밝은 필드)를 가상의 조직학적 염색(예: H&E 또는 면역형광)으로 변환한다. 주요 기여는 아키텍처, 손실 함수, 최적의 실천 방법에 대한 종합적인 분석으로, 고정밀도 가상 염색을 달성하는 데 핵심적인 역할을 하는 생성적 적대 신경망(GANs)과 U-Net 변종과 같은 생성 모델의 중요성을 부각한다. 이는 더 빠르고 파괴적이지 않으며 3차원 이미징이 가능한 병리학 워크플로우의 잠재적 향상 가능성을 시사한다.

ABSTRACT

Until recently, conventional biochemical staining had the undisputed status as well-established benchmark for most biomedical problems related to clinical diagnostics, fundamental research and biotechnology. Despite this role as gold-standard, staining protocols face several challenges, such as a need for extensive, manual processing of samples, substantial time delays, altered tissue homeostasis, limited choice of contrast agents for a given sample, 2D imaging instead of 3D tomography and many more. Label-free optical technologies, on the other hand, do not rely on exogenous and artificial markers, by exploiting intrinsic optical contrast mechanisms, where the specificity is typically less obvious to the human observer. Over the past few years, digital staining has emerged as a promising concept to use modern deep learning for the translation from optical contrast to established biochemical contrast of actual stainings. In this review article, we provide an in-depth analysis of the current state-of-the-art in this field, suggest methods of good practice, identify pitfalls and challenges and postulate promising advances towards potential future implementations and applications.

연구 동기 및 목표

• 딥러닝을 활용한 광학 현미경에서의 디지털 염색의 현재 상태를 분석하기 위해.
• 강건한 가상 염색 모델을 훈련시키는 데 있어 방법론적 최적 실천, 일반적인 함정, 기술적 과제를 규명하기 위해.
• 디지털 염색이 연구 및 바이오테크놀로지 분야에서 생물의학 이미징의 가속화 및 향상에 기여할 잠재력을 평가하기 위해.
• 디지털 염색을 3차원 이미징 및 임상적 실시간 적용에 적용할 수 있는지 탐색하기 위해.
• 일반화 능력, 해석 가능성, 임상 적용 측면에서 현재 접근법의 한계를 평가하기 위해.

제안 방법

• 페어드 훈련 데이터를 활용해 레이블이 없는 광학 이미지(예: 위상 대비, 밝은 필드)를 가상의 염색 이미지(예: H&E, 면역형광)로 매핑하는 지도 기반 딥러닝을 활용한다.
• 이미지 간 변환에 주로 컨볼루션 신경망(CNNs)과 생성적 적대 신경망(GANs)을 사용하는 아키텍처를 적용한다.
• 실제와 유사한 질감과 구조적 정확도를 향상시키기 위해 인지적 손실, 적대적 손실, 사이클 일致성 손실과 같은 손실 함수를 적용한다.
• 공통된 좌표계에 맞춰진 레이블이 없는 현미경 이미지와 염색 이미지의 대규모 데이터셋을 활용하며, 구글의 인-실리코 레이블링 프로젝트에서 제공하는 공개 데이터셋도 포함된다.
• 다양한 이미징 조건에서 모델의 강건성을 향상시키기 위해 정규화 기법과 데이터 증강을 적용한다.
• SSIM, LPIPS, FID와 같은 지표를 사용해 모델 성능을 평가하며, 실제 염색 이미지와의 정량적·정성적 비교를 수행한다.

Figure 1: Basic principle of Digital staining (a) Example data showing phase contrast microscopy images as input to predict fluorescence images from specific antibody staining as ground truth. Images show human motor neurons stained for nuclei (DAPI), dendrites (anti-MAP2) and axons (anti-neurofilam

실험 결과

연구 질문

• RQ1 U-Net, GANs 등 다양한 딥러닝 아키텍처가 레이블이 없는 광학 대비를 가상의 H&E 또는 형광 염색으로 변환하는 데 어떻게 성능을 내는가?
• RQ2 다양한 현미경 플랫폼, 염색 프로토콜, 조직 유형 간 일반화를 달성하는 데 있어 핵심적인 기술적 과제는 무엇인가?
• RQ3 실제 염색에 비해 디지털 염색 모델이 생물학적 특이성과 형태학적 정확도를 얼마나 잘 유지하는가?
• RQ4 모델의 해석 가능성, 강건성, 진단 병리학 분야에서의 임상적 도입에 있어 주요 한계는 무엇인가?
• RQ5 현재 응용 분야를 넘어 향후 가장 유망한 방향성과 혁신(예: 3차원, 생체 내, 다중 모odal)은 무엇인가?

주요 결과

• 딥러닝 기반 디지털 염색은 높은 정밀도의 가상의 조직학적 염색을 달성할 수 있으며, 인지적 품질이 실제 H&E 또는 면역형광 염색과 유사하다.
• 생성 모델인 GANs와 U-Net 기반 아키텍처는 전통적인 선형 또는 특징 엔지니어링 기반 방법에 비해 세밀한 형태학적 세부 사항과 조직의 구조를 더 잘 유지한다.
• 인지적 손실과 적대적 손실을 사용할 경우, L2 기반 손실에 비해 생성된 염색 이미지의 현실성과 진단적 관련성이 크게 향상된다.
• 연구용 데이터에서 뛰어난 성능를 보이지만, 다양한 현미경, 고정 방법, 조직 유형 간 일반화 능력은 여전히 제한되어 있어 임상 적용에 있어 핵심적 장벽으로 남아 있다.
• 디지털 염색은 현재 규제 및 데이터 품질의 과제로 인해 임상 진료의 일상적 활용보다는 세포 배양 및 전임상 연구 분야에서 더 실현 가능하고 상용화 가능성이 높다.
• 향후 응용 분야는 3차원 이미징, 옹구세포, 생체 내 내시경 이미징 등으로 확장될 수 있으며, 특히 해석 가능하고 강건한 딥러닝 아키텍처의 발전과 함께 더욱 가능성이 높아질 전망이다.

Figure 2: Pairings of input and target contrast Target image contrast is plotted against the input contrast, with the number of publications for each combination as a color-coded heat map. IHC = immuno-histochemcial stain, IF = immuno-fluorescence stain, WF = wide field (white light illumination), A