[논문 리뷰] Improved Conditional Flow Models for Molecule to Image Synthesis

Karren Yang, Samuel Goldman외 5명|arXiv (Cornell University)|2020. 06. 15.

Cell Image Analysis Techniques참고 문헌 1인용 수 6

한 줄 요약

이 논문은 다중 척도 히어르 웨이블릿 이미지 피라미드와 대조 학습을 사용하여 분자의 구조에서 고해상도(512×512) 세포 현미경 영상을 합성하는 새로운 플로우 기반 생성 모델인 Mol2Image를 소개한다. 이 방법은 약물 치료의 형태학적 영향을 반영하는 분리된, 생물학적으로 의미 있는 분자 임bedding을 학습하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we aim to synthesize cell microscopy images under different molecular interventions, motivated by practical applications to drug development. Building on the recent success of graph neural networks for learning molecular embeddings and flow-based models for image generation, we propose Mol2Image: a flow-based generative model for molecule to cell image synthesis. To generate cell features at different resolutions and scale to high-resolution images, we develop a novel multi-scale flow architecture based on a Haar wavelet image pyramid. To maximize the mutual information between the generated images and the molecular interventions, we devise a training strategy based on contrastive learning. To evaluate our model, we propose a new set of metrics for biological image generation that are robust, interpretable, and relevant to practitioners. We show quantitatively that our method learns a meaningful embedding of the molecular intervention, which is translated into an image representation reflecting the biological effects of the intervention.

연구 동기 및 목표

• 분자의 간섭 조건에 따라 고해상도 세포 현미경 영상을 합성하는 데 있어 첫 번째 생성 모델을 개발하는 것.
• 플로우 기반 모델을 전체 해상도 영상으로 스케일링하면서도 다중 공간 척도에서 분리된 생성을 가능하게 하는 과제를 해결하는 것.
• 분자 임베딩과 생성된 영상 간의 상호정보량을 최대화하여 복잡한 분자 입력에 대한 조건부 설정을 향상시키는 것.
• 약물 발견 분야에서 분자에서 영상으로의 변환을 위한 강력하고 생물학적으로 관련된 평가 지표를 수립하는 것.
• 학습된 분자 표현이 생물학적으로 의미 있는 형태학적 영향을 반영한다는 것을 입증하는 것.

제안 방법

• 다양한 해상도에서 이미지 특징을 생성할 수 있도록 히어르 웨이블릿 이미지 피라미드 기반의 다중 척도 플로우 아키텍처를 제안하여 512×512 영상으로의 스케일링을 가능하게 한다.
• 플로우 모델의 조건부 설정을 위해 분자 구조를 잠재 표현으로 인코딩하기 위해 그래프 신경망(GNN)을 통합한다.
• GNN로 임bed된 분자 특징과 플로우 모델의 잠재 공간 간의 상호정보량을 최대화하기 위해 대조 학습 기반의 학습 전략을 적용한다.
• 저해상도에서 고해상도로의 계층적 생성 과정을 통해 학습 안정성과 모델 정확도를 향상시킨다.
• 웨이블릿 피라미드 구조 전반에 걸쳐 가역 변환을 지원하는 수정된 정규화 플로우를 적용한다.
• 플로우 모델의 로그우도와 대조 손실을 조합한 손실 함수를 사용하여 분자 표현과 영상 표현 간의 정렬을 도모한다.

실험 결과

연구 질문

• RQ1 분자 구조에 조건부로 설정된 플로우 기반 모델이 고해상도(512×512) 세포 현미경 영상을 효과적으로 생성할 수 있는가?
• RQ2 히어르 웨이블릿 피라미드 기반의 다중 척도 플로우 아키텍처가 생성된 영상에서 거시적 및 미세한 형태학적 특징의 분리에 기여하는가?
• RQ3 대조 학습이 조건부 플로우 모델에서 분자 임베딩과 결과 영상 표현 간의 정렬을 향상시키는가?
• RQ4 학습된 분자 임베딩이 분자 간섭에 의해 유도된 생물학적으로 관련된 형태학적 변화를 반영하는가?
• RQ5 제안된 평가 지표가 생물학적 맥락에서 분자에서 영상으로의 변환 품질을 신뢰성 있고 해석 가능하게 평가할 수 있는가?

주요 결과

• qualitative 비교를 통해 Mol2Image 모델이 CGAN, CGlow 등의 베이스라인에 비해 분자 간섭의 형태학적 영향을 더 잘 반영하는 영상을 생성하는 것으로 입증되었다.
• 분자 임베딩에서 14개의 형태학적 특징을 예측하는 선형 프로브에서 모델은 평균 AUC 0.810을 기록하여 모리건 지문(0.675)과 무작위 GNN(0.569)을 모두 초월했다.
• 대조 학습을 생략한 아블레이션 실험에서는 평균 AUC가 0.675로 나타나, 대조 학습이 분자 표현의 품질을 상당히 향상시킨다는 것이 확인되었다.
• 이미지 피라미드 프레임워크는 64×64 해상도에서도 조건부 생성 성능을 향상시켜 다중 척도 학습이 학습 효율성과 표현 품질을 향상시킨다는 것을 시사한다.
• 보류된 분자에 대해서도 일반화 성능을 보였으며, 보류 세트에서 평균 AUC 0.683을 기록하여 완전한 지도 학습 모델(AUC 0.702)의 성능에 근접하였다.
• 이 방법은 분자 간섭에 따른 세포 반응을 반영하는 생물학적으로 타당한 영상을 생성함으로써 가상 스크리닝을 가능하게 하였다.