[논문 리뷰] Correlation via synthesis: end-to-end nodule image generation and radiogenomic map learning based on generative adversarial network

Ziyue Xu, Xiaosong Wang외 6명|arXiv (Cornell University)|2019. 07. 08.

Cell Image Analysis Techniques인용 수 11

한 줄 요약

이 논문은 다중 조건부 생성 적대 신경망(GAN)을 제안하여 CT 영상과 유전자 발현 프ofile을 종합적으로 융합함으로써 종단간 영상 생성과 현실적인 기저 종양을 생성하고, 영상-유전자 상관관계를 동시에 학습한다. 이 방법은 다중 척도에서 영상과 유전체 데이터를 융합하여 고해상도의 합성 종양을 생성하고, 기존 방법보다 향상된 현실성과 유전자-영상 상관관계를 확보한다.

ABSTRACT

Radiogenomic map linking image features and gene expression profiles is useful for noninvasively identifying molecular properties of a particular type of disease. Conventionally, such map is produced in three separate steps: 1) gene-clustering to "metagenes", 2) image feature extraction, and 3) statistical correlation between metagenes and image features. Each step is independently performed and relies on arbitrary measurements. In this work, we investigate the potential of an end-to-end method fusing gene data with image features to generate synthetic image and learn radiogenomic map simultaneously. To achieve this goal, we develop a generative adversarial network (GAN) conditioned on both background images and gene expression profiles, synthesizing the corresponding image. Image and gene features are fused at different scales to ensure the realism and quality of the synthesized image. We tested our method on non-small cell lung cancer (NSCLC) dataset. Results demonstrate that the proposed method produces realistic synthetic images, and provides a promising way to find gene-image relationship in a holistic end-to-end manner.

연구 동기 및 목표

• 영상 특징과 유전자 발현을 별도로 처리하는 전통적인 3단계 영상-유전자 맵핑의 한계를 극복하기 위해.
• 영상과 유전자 표현을 동시에 학습하면서 현실적인 종양을 생성하는 종단간 프레임워크를 개발하기 위해.
• 유전자 발현 프ofile에 기반하여 외형이 유도되는 제어 가능하고 데이터 기반의 종양 합성 가능성을 제공하기 위해.
• GAN 기반의 공동 학습이 순차적이고 독립적인 처리 방식보다 더 구분력 있고 생물학적으로 의미 있는 유전자-영상 상관관계를 도출할 수 있음을 입증하기 위해.

제안 방법

• 배경 CT 영상과 유전자 발현 프ofile을 입력으로 받아 종양 포함 영상과 해당 세그멘테이션 마스크를 생성하는 생성자로 구성된 다중 조건부 GAN을 설계하였다.
• 영상 및 유전자 특징을 별도로 인코딩하고, 새로운 융합 블록을 사용해 다중 해상도 수준에서 융합하여 공간 일관성과 현실성을 확보하였다.
• 생성자에 다중 판별자 설정을 적용하여 훈련: 전역 판별자, 영상 전용 판별자, 영상-세그멘테이션-유전자 병합 판별자를 사용해 현실성과 일관성을 강화하였다.
• 마스크 처리 영역에서 합성 영상과 원본 배경 간의 L1 거리에 기반한 배경 복원 손실을 적용하여 구조적 통합성을 유지하였다.
• 스타일 기반 조건화 메커니즘을 활용하여 유전자 발현 프ofile이 생성자의 특징 맵을 조절함으로써 종양 외형에 정밀한 제어를 가능하게 하였다.
• 훈련 목표는 적대적 손실과 복원 손실을 조합하며, 생성자 손실에는 영상, 마스크, 배경 충실도 항목이 포함되었다.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크는 종단간 방식으로 현실적인 폐 종양을 동시에 생성하고 영상-유전자 상관관계를 학습할 수 있는가?
• RQ2 영상과 유전자 특징의 다중 척도 융합은 표준 인painting 기반 GAN에 비해 합성 종양의 현실성과 제어 가능성에 어떻게 기여하는가?
• RQ3 t-SNE를 활용한 시각화에서 GAN 아키텍처를 통해 학습된 유전자 표현의 잠재 표현이 생물학적으로 의미 있는 군집을 드러내는가?
• RQ4 제안된 방법은 기존의 3단계 파이프라인보다 더 구분력 있는 유전자-영상 연관성을 생성하는가?
• RQ5 유전자 프ofile에 기반한 조건화가 합성 영상에서 종양 형태와 질감에 대해 얼마나 효과적으로 제어할 수 있는가?

주요 결과

• 기본 방법에 비해 제안된 방법이 더 현실적인 합성 종양을 생성하였으며, 배경 융합 품질이 뛰어나고 종양 경계 부근의 잡음이나 기형이 적었다.
• 학습된 유전자 코드(128-D)의 t-SNE 시각화에서 명확한 군집이 관찰되어 모델이 유전자 공간 내 생물학적으로 관련된 구조를 포착하고 있음을 확인하였다.
• 반면, 원시 유전자 벡터(5172-D)와 기본 방법의 유전자 코드에서는 명확한 군집이 관찰되지 않아 표현 학습이 열악함을 시사하였다.
• 모델는 특정 유전자 군집이 종양의 형태나 경계의 매끄러움과 같은 특정 영상 특징과 연관됨을 학습하였다.
• 다중 판별자 훈련 설정은 더 낮은 복원 오차와 향상된 적대적 성능로 인해 영상의 질과 일관성을 향상시켰다.
• 종단간 프레임워크는 전통적인 파이프라인의 열악한 특징 선택 및 모델 종속성 문제를 피하며, 영상 및 유전자 특징 간 직접적이고 통합적인 상관관계를 가능하게 하였다.