[논문 리뷰] DeadNet: Identifying Phototoxicity from Label-free Microscopy Images of Cells using Deep ConvNets

David Richmond, Anna Payne-Tobin Jost외 3명|arXiv (Cornell University)|2017. 01. 22.

Cell Image Analysis Techniques참고 문헌 11인용 수 10

한 줄 요약

이 논문은 단일 단계 대비 현미경 영상만을 사용하여 생세포 영상에서 광세포성 손상을 식별하는 딥 컨volution 뉴럴 네트워크(ConvnNet)인 DeadNet을 제안한다. 이는 형광 레이블이나 사전 광세포성 검사가 필요 없음을 의미한다. U2OS 세포를 다양한 조명 노출 조건에서 촬영한 레이블이 부여된 단계 대비 영상으로 훈련된 DeadNet은 광세포성 손상을 탐지하는 데 94.5%의 정확도를 달성하였으며, 실시간 영상 워크플로우에서 세포 건강 상태를 레이블 없이 자동으로 해석 가능한 방법으로 평가할 수 있음을 보여준다.

ABSTRACT

Exposure to intense illumination light is an unavoidable consequence of fluorescence microscopy, and poses a risk to the health of the sample in every live-cell fluorescence microscopy experiment. Furthermore, the possible side-effects of phototoxicity on the scientific conclusions that are drawn from an imaging experiment are often unaccounted for. Previously, controlling for phototoxicity in imaging experiments required additional labels and experiments, limiting its widespread application. Here we provide a proof-of-principle demonstration that the phototoxic effects of an imaging experiment can be identified directly from a single phase-contrast image using deep convolutional neural networks (ConvNets). This lays the groundwork for an automated tool for assessing cell health in a wide range of imaging experiments. Interpretability of such a method is crucial for its adoption. We take steps towards interpreting the classification mechanism of the trained ConvNet by visualizing salient features of images that contribute to accurate classification.

연구 동기 및 목표

• 생세포 형광 현미경 영상에서 형광 레이블이나 추가 분석이 없는 단일 단계 대비 영상만을 사용하여 광세포성 손상을 자동으로 탐지할 수 있는 방법을 개발하는 것.
• 현재의 광세포성 손상 평가 방법의 한계를 극복하기 위한 것—즉, 형광 프로브, 실험 후 분석 또는 주관적인 시각적 검토에 의존하는 것.
• 영상 실험 동안 실시간으로 객관적이고 재현 가능한 세포 건강 평가를 가능하게 하여 데이터 신뢰도를 향상시키는 것.
• 딥 컨볼루션 네트워크의 의사결정 과정을 해석 가능하게 하여 예측의 신뢰성과 생물학적 관련성을 확보하는 것.

제안 방법

• U2OS 세포의 단계 대비 영상에서 다양한 강도의 형광 조명에 노출된 영상으로 딥 컨volution 뉴럴 네트워크(ConvNet)를 훈련시켰다.
• 비침습적이며 추가 레이블링이나 조명 노출이 필요 없는 투과광(단계 대비) 영상을 입력으로 사용하였다.
• 알려진 조명 용량에 노출된 세포에서 실험적으로 확보한 애너테이션을 활용하여 지도 학습 신호를 생성하였다.
• 분류 결정에 영향을 주는 영역을 강조하기 위해 클래스 활성 맵(CAM)과 기울기 기반 시각화 기법을 적용하였다.
• 최적화 기반의 클래스 모델 시각화를 통해 건강한 세포와 병변 세포 클래스에 대해 ConvNet이 학습한 내부 표현을 해석하였다.
• 두 데이터셋에서 모델 성능을 평가하였으며, 하나는 고광세포성 손상(94.5% 정확도), 다른 하나는 더 어려운 저광세포성 손상(75.7% 정확도)을 포함하였다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 네트워크는 형광 레이블이나 추가 분석이 없는 단일 단계 대비 영상만을 사용하여 생세포의 광세포성 손상을 정확하게 분류할 수 있는가?
• RQ2 단계 대비 영상에서 광세포성 손상에 가장 예측 가능한 형태적 특징는 무엇이며, 모델이 이를 의미 있는 방식으로 해석할 수 있는가?
• RQ3 컨볼루션 네트워크의 내부 표현은 세포 둥글어짐이나 소포 형성과 같은 알려진 광손상 생물학적 징후와 어떻게 관련되는가?
• RQ4 시각화 기법인 시각적 강조도 및 클래스 모델 시각화를 통해 모델의 의사결정 과정에서 생물학적으로 관련 있는 특징를 얼마나 잘 드러낼 수 있는가?
• RQ5 성능과 해석 가능성 간의 상관관계는 어떻게 되며, 정확도와 동시에 향상시킬 수 있는 아키텍처 설계는 가능한가?

주요 결과

• DeadNet는 고용량 광세포성 손상 데이터셋에서 광세포성 손상을 식별하는 데 94.5%의 분류 정확도를 기록하여 도전적이고 생물학적으로 관련성이 높은 작업에서 뛰어난 성능을 보였다.
• 더 어려운 저용량 광세포성 손상 데이터셋에서는 75.7%의 정확도를 달성하였으며, 이는 미세한 형태적 변화가 있는 상황에서도 전문가 수준의 인간 성능과 유사한 결과를 보였다.
• 시각적 강조도는 모델이 생물학적으로 관련 있는 특징—예를 들어 핵소, 큰 소포, 건강한 영상에서의 미세분열세포, 병변 영상에서의 수축섬유, 어두운 세포 경계선, 둥근 형태—에 초점을 맞추고 있음을 보여주었다.
• 클래스 모델 시각화 결과, 노이즈에서부터 유의미한 세포 유사 구조를 생성할 수 있었으며, 건강한 클래스에서는 핵소 유사 특징가 형성되었고, 병변 클래스에서는 비정상적인 패atters가 나타났다.
• 해석 가능성은 성능와 독립적으로 변동하였으며, 일부 높은 성능의 모델은 매우 해석 가능한 시각화를 생성했고, 다른 모델는 그렇지 못했다. 이는 정확도와 해석 가능성 간에 상충 또는 상호 독립적인 관계가 있음을 시사한다.
• 본 연구는 생물의학 분야의 딥 러닝에서 해석 가능성 기반 모델 설계의 잠재력을 부각시키며, 과학적 활용을 위해 생물학적 타당성과 모델 투명성이 필수적임을 강조한다.