[논문 리뷰] Latent Space Analysis of VAE and Intro-VAE applied to 3-dimensional MR Brain Volumes of Multiple Sclerosis, Leukoencephalopathy, and Healthy Patients

Christopher Vogelsanger, Christian Federau|arXiv (Cornell University)|2021. 01. 17.

Brain Tumor Detection and Classification인용 수 7

한 줄 요약

이 연구는 다발성 경화증(MS), 백질뇌증 및 건강한 환자로부터의 FLAIR MRI 볼륨의 잠재공간 분석을 위해 3D 변분 오토인코더(VAE)와 Intro-VAE를 적용한다. LDA 분석을 통한 잠재공간 분석 결과, IVAE-256 모델이 MS를 다른 상태와 구분하는 데 92% 정밀도와 89% 재현율을 달성하였으며, 데이터셋 편향에도 불구하고 질병 특이적 특징이 드러났다.

ABSTRACT

Multiple Sclerosis (MS) and microvascular leukoencephalopathy are two distinct neurological conditions, the first caused by focal autoimmune inflammation in the central nervous system, the second caused by chronic white matter damage from atherosclerotic microvascular disease. Both conditions lead to signal anomalies on Fluid Attenuated Inversion Recovery (FLAIR) magnetic resonance (MR) images, which can be distinguished by an expert neuroradiologist, but which can look very similar to the untrained eye as well as in the early stage of both diseases. In this paper, we attempt to train a 3-dimensional deep neural network to learn the specific features of both diseases in an unsupervised manner. For this manner, in a first step we train a generative neural network to create artificial MR images of both conditions with approximate explicit density, using a mixed dataset of multiple sclerosis, leukoencephalopathy and healthy patients containing in total 5404 volumes of 3096 patients. In a second step, we distinguish features between the different diseases in the latent space of this network, and use them to classify new data.

연구 동기 및 목표

• 비지도 딥 생성 모델이 다발성 경화증(MS)과 백질뇌증의 3D FLAIR MRI 볼륨에서 질병 특이적 특징을 학습할 수 있는지 조사한다.
• 건강한 환자, MS 환자 및 백질뇌증 환자로 구성된 혼합 데이터셋에서 3D 뇌 MRI 영상을 고해상도로 생성하는 데 있어 VAE와 Intro-VAE의 성능을 비교한다.
• 학습된 모델의 분리된 잠재공간을 분석하여, 특히 MS에 대해 질병 특이적 패턴이 인코딩되고 추출될 수 있는지 확인한다.
• 잠재공간 표현이 새로운 데이터를 MS, 백질뇌증 또는 건강한 상태로 정확하게 분류하는 데 기여할 수 있는지 평가한다.
• 수집 파rameter의 편향이 모델 학습 및 분류 결과에 영향을 미칠 수 있는지 평가한다.

제안 방법

• 3096명의 환자로부터 확득한 총 5,404개의 3D FLAIR MRI 볼륨을 포함한 혼합 데이터셋을 사용하여 3D VAE와 Intro-VAE 모델을 학습한다. 진단 카테고리로는 MS, 백질뇌증 및 건강한 대조군이 포함된다.
• VAE의 경우 공동 학습 목표를 적용하여 재구성 오차와 근사 사후분포 및 표준 정규분포 사전분포 간의 KLD를 최소화한다.
• Intro-VAE는 잠재공간 내 분리된 표현을 장려하기 위해 분리성 정규화항을 도입한다.
• 질병군 간의 분리 가능성을 평가하기 위해 선형 판별 분석(LDA)을 사용하여 잠재공간 분석을 수행한다.
• 이미지 품질 및 특징 분리도에 미치는 영향을 평가하기 위해 잠재공간 차원수를 체계적으로 변화시켰다(예: 8, 32, 256).
• 각 잠재차원의 영향을 시각화하기 위해 나머지 모든 차원을 0으로 고정하고 오직 한 개의 차원만 변화시켜 생성된 이미지의 변화를 관찰하였다.

실험 결과

연구 질문

• RQ1 3D VAE와 Intro-VAE 모델은 MS, 백질뇌증 및 건강한 뇌 스캔의 혼합 데이터셋으로부터 현실적인 FLAIR MRI 볼륨을 학습하고 생성할 수 있는가?
• RQ2 이 모델의 잠재공간은 MS, 백질뇌증 및 건강한 뇌 해부학적 형태에 대응하는 구분 가능한 특징을 인코딩하고 있는가?
• RQ3 잠재공간 차원수가 이미지 품질과 질병 특이적 특징의 분리도에 어떤 영향을 미치는가?
• RQ4 잠재공간에 LDA를 적용할 경우, 새로운 MRI 볼륨을 세 가지 진단 카테고리로 높은 정확도로 분류할 수 있는가?
• RQ5 데이터셋 내 반복 시간, 에코 시간 및 픽셀 대역폭 등의 수집 파rameter 편향이 모델이 진정한 질병 특이적 특징을 학습하는 데 영향을 미치는 정도는 어느 정도인가?

주요 결과

• 모든 잠재공간 크기에서 표준 VAE보다 Intro-VAE(IVA) 모델이 훨씬 더 세밀하고 흐릿하지 않은 이미지를 생성하였다.
• VAE에서는 높은 잠재공간 차원수도 이미지 품질 향상에 기여하지 않았으며, 항상 흐릿한 재구성 및 샘플링 결과를 보였다.
• IVAЕ-256 모델은 가장 높은 이미지 품질을 보였으며, 잠재공간 내에서 질병 특이적 특징의 분리도가 가장 뚜렷했다.
• IVAЕ-256의 잠재공간에 LDA를 적용한 결과, MS 탐지에서 92% 정밀도와 89% 재현율을 기록하여 다른 클래스와의 강한 분리 가능성을 보였다.
• 잠재공간은 해석 가능한 특징을 드러냈다: 차원 175는 측두실 형태에 영향을 주었고, 차원 76는 이미지 강도/색상 스킴에 영향을 주었다.
• 특히 MS 스캔을 우선시하는 반복 시간, 에코 시간 및 픽셀 대역폭 등의 데이터셋 편향이 존재하더라도 모델은 여전히 질병 특이적 특징을 학습하였으며, 이러한 편향이 분류 성능에 미치는 영향은 여전히 불확실하다.