[논문 리뷰] Generative Modeling with Conditional Autoencoders: Building an Integrated Cell

Gregory R. Johnson, Rory Donovan-Maiye외 1명|arXiv (Cornell University)|2017. 04. 28.

Cell Image Analysis Techniques참고 문헌 12인용 수 26

한 줄 요약

이 논문은 형광 현미경 영상에서 세포 및 세포핵 형태와 세포소기관 구조의 확률적 국소화를 학습하고 합성하기 위해 조건부 변동 자동인코더를 사용하는 조건부 생성 모델을 제안한다. 이 모델은 분할을 필요로 하지 않고 세포 성분 간의 복잡한 공간적 관계를 포착하여 관측되지 않은 구조의 국소화를 정확하게 예측하고, 잠재 표현에서 사진처럼 현실적인 합성 세포를 생성할 수 있다.

ABSTRACT

We present a conditional generative model to learn variation in cell and nuclear morphology and the location of subcellular structures from microscopy images. Our model generalizes to a wide range of subcellular localization and allows for a probabilistic interpretation of cell and nuclear morphology and structure localization from fluorescence images. We demonstrate the effectiveness of our approach by producing photo-realistic cell images using our generative model. The conditional nature of the model provides the ability to predict the localization of unobserved structures given cell and nuclear morphology.

연구 동기 및 목표

• 형광 현미경 영상에서 세포 및 세포핵 형태와 세포소기관 구조의 국소화 변동성을 포착하는 비모수적 생성 모델을 개발하기 위해.
• 세포 및 세포핵 형태에 기반하여 관측되지 않은 세포소기관 구조의 국소화를 확률적으로 예측할 수 있도록 하기 위해.
• 세포소기관의 국소화를 직접 모델링하여 분할 및 객체 탐지에 의존도를 줄이기 위해.
• 복잡한 이미지 분포와 세포 변동성을 인코딩하는 압축된, 저차원의 잠재 공간 표현을 생성하기 위해.
• 다양한 영상 데이터 통합을 지원하고 3D 모델링 및 변형 공간 표현으로 확장할 수 있도록 하기 위해.

제안 방법

• 모델은 세포 및 세포핵 형태 변동성을 인코딩하기 위한 하나의 딥 오토인코더와, 인코딩된 형태를 바탕으로 조건부로 구조의 국소화를 모델링하기 위한 다른 하나의 오토인코더를 사용한다.
• 조건부 변동 자동인코더(CVAE) 프레임워크를 활용하여 세포 형태학과 세포소기관 위치의 공동 확률 분포를 학습한다.
• 모델은 300~750장의 형광 현미경 영상에서 엔드 투 엔드로 훈련되며, 객체 분할이 필요 없이 픽셀 수준의 신호 강도를 직접 모델링한다.
• 잠재 공간 표현을 사용하여 최대우도추정법을 통해 사진처럼 현실적인 합성 세포 영상 생성 및 구조 국소화 예측을 수행한다.
• 조건부 생성이 가능하다: 주어진 세포 및 세포핵 형태에 기반하여 어떤 구조의 가장 가능성이 높은 국소화를 예측할 수 있다.
• 프레임워크는 비모수적 모델과 호환되며, 알려진 비모수적 형태가 있는 및 없는 구조의 혼합 모델링을 허용한다.

실험 결과

연구 질문

• RQ1 비모수적 생성 모델은 세포소기관 간의 공간적 관계와 세포/세포핵 형태의 변동성을 정확하게 포착하고 합성할 수 있는가?
• RQ2 세포 및 세포핵 형태만으로 관측되지 않은 형광으로 표시된 구조의 국소화를 예측할 수 있는가?
• RQ3 직접 형광 신호 국소화를 모델링하는 것이 분할 기반 세포 측정 접근법보다 모델링의 유연성과 효율성 측면에서 뛰어나지 않는가?
• RQ4 모델의 잠재 공간이 세포 형태학적 변동성을 탐색하기 위한 압축되고 해석 가능한 좌표계로 기능할 수 있는가?
• RQ5 모델은 높은 변동성 또는 동적 재조직화를 보이는 패턴을 포함하여 다양한 국소화 패턴으로 일반화될 수 있는가?

주요 결과

• 모델은 현실적인 형태학적 및 세포소기관 조직 패턴을 반영하는 사진처럼 현실적인 합성 세포 영상을 성공적으로 생성하였다.
• 직접 관측되지 않은 세포소기관의 국소화를 실험 데이터와 높은 정밀도로 정확하게 예측하였으며, 그 결과는 그림 3에서 확인할 수 있다.
• 다항 분류 작업에서 높은 정확도를 달성하였으며, 샘플 수가 적거나 표현이 부족한 구조 클래스에서 성능 저하가 약간 발생하였다.
• 분할 과정을 생략함으로써 모델링의 복잡성을 줄이고, 객체 경계의 진짜값 평가와 관련된 오류를 피할 수 있었다.
• 잠재 공간은 세포 형태학적 변동성과 구조 조직의 의미 있는 변동성을 인코딩하여, 저차원의 확률 공간에서 세포 다양성을 탐색할 수 있게 하였다.
• 모델은 산재한 단백질과 마이크로튜불과 같은 동적으로 재조직화되는 구조를 포함한 다양한 국소화 패턴으로 잘 일반화되었다.