[논문 리뷰] Variational Autoencoders for Feature Detection of Magnetic Resonance Imaging Data

Devon Hjelm, Sergey Plis외 1명|arXiv (Cornell University)|2016. 03. 21.

Blind Source Separation Techniques참고 문헌 22인용 수 7

한 줄 요약

이 논문은 MRI 데이터에서 최대한 독립적인 특징을 추출하기 위해 비선형적이고 딥한 생성 모델로 변분 오토인코더(VAEs)를 제안하며, 변분 추론을 사용해 헬름홀츠 머신을 훈련시킨다. 기존의 ICA보다 더 복잡한 비선형적 구조를 포착할 수 있으며, 잠재 특징만을 사용해 정신분열병 진단에 대해 67%의 분류 정확도를 달성하여 강력한 진단적 관련성과 구조적 일관성을 보여준다.

ABSTRACT

Independent component analysis (ICA), as an approach to the blind source-separation (BSS) problem, has become the de-facto standard in many medical imaging settings. Despite successes and a large ongoing research effort, the limitation of ICA to square linear transformations have not been overcome, so that general INFOMAX is still far from being realized. As an alternative, we present feature analysis in medical imaging as a problem solved by Helmholtz machines, which include dimensionality reduction and reconstruction of the raw data under the same objective, and which recently have overcome major difficulties in inference and learning with deep and nonlinear configurations. We demonstrate one approach to training Helmholtz machines, variational auto-encoders (VAE), as a viable approach toward feature extraction with magnetic resonance imaging (MRI) data.

연구 동기 및 목표

• 선형 ICA의 한계를 극복하기 위해, 특히 비선형 관계와 다중모달 데이터를 모델링할 수 없는 점을 해결하고자 한다.
• 특히 변분 오토인코더를 포함한 헬름홀츠 머신을 신경영상에서 비지도 특징 탐색을 위한 확장 가능하고 유연한 대안으로 탐색하고자 한다.
• 훈련 중에 레이블이 없는 데이터를 기반으로 VAE가 의미 있는, 일반화 가능한, 그리고 진단적으로 관련성이 있는 특징을 학습할 수 있는지 평가하고자 한다.
• VAE의 잠재 표현이 정신분열병 진단과 같은 후행 분류 작업에 충분한 정보를 유지하는지 보여주고자 한다.
• VAE가 ICA나 RBM 기반 방법보다 더 낮은 노이즈와 더 높은 뇌 영역과의 겹침을 보이며 일관되고 해석 가능한 특징을 생성하는지 보여주고자 한다.

제안 방법

• 잠재 변수의 진정한 사후 분포를 근사하기 위해 변분 추론을 사용한 깊이 있는 비선형 생성 모델을 훈련시켰다.
• 잠재 사후 분포 $ q(oldsymbol{h}|oldsymbol{x};oldsymbol{ heta}) $ 를 매개변수화하기 위해 탄젠트 활성화 함수를 사용한 2층 인식 네트워크를 사용하였고, $ p(oldsymbol{x}|oldsymbol{h};oldsymbol{ heta}) $ 를 모델링하기 위해 소프트플러스 활성화 함수를 사용한 2층 생성 네트워크를 사용하였다.
• 잠재 공간 내의 희박성과 독립성을 장려하기 위해 64개의 뉴런을 가진 로지스틱 사전분포 $ p(oldsymbol{h};oldsymbol{ heta}) $ 를 사용하였다.
• 1000 에포크 동안 배치 크기가 10인 경우 RMSprop를 사용한 확률적 최적화를 통해 변분 하한(ELBO)을 최대화하였다.
• 정신분열병과 유의미하게 관련된 잠재 성분을 식별하기 위해 임계값 설정과 통계적 검정(일표본 t검정, $ p < 0.001 $)을 적용하였다.
• 진단 분류 성능 평가를 위해 잠재 변수의 사후 분포 평균 $ oldsymbol{ u}_h(oldsymbol{x}_n) $ 을 로지스틱 회귀의 입력으로 사용하였다.

실험 결과

연구 질문

• RQ1 훈련 중에 레이블이 없는 데이터를 사용할 때, 변분 오토인코더가 원시 MRI 데이터에서 비선형적이고 독립적인 특징을 효과적으로 학습할 수 있는가?
• RQ2 VAE가 추출한 잠재 특징은 정신분열병과 관련하여 의미 있는 생물학적 및 진단적 관련성을 보여주는가?
• RQ3 VAE가 추출한 특징의 품질과 해석 가능성은 MRI 데이터에서 선형 ICA나 RBM 기반 방법과 비교해 어떻게 다른가?
• RQ4 학습된 잠재 표현이 정신분열병과 같은 신경학적 질환의 정확한 분류에 필요한 정보를 얼마나 잘 유지하는가?
• RQ5 잠재 성분 간의 구조적 관계는 무엇이며, 이는 뇌의 알려진 功能적 또는 해부학적 군집과 일치하는가?

주요 결과

• VAE 모델은 MRI 데이터에서 64개의 잠재 특징을 성공적으로 추출하였으며, 이는 다양하고 해석 가능하며 주로 알려진 뇌 영역과 일치하였다.
• 정신분열병과 유의미하게 관련된 잠재 성분(p < 0.001)은 높은 공간적 일관성을 보였으며, 로지스틱 회귀 계수의 통계적 검정을 통해 식별 가능하였다.
• 모델은 잠재 변수의 사후 평균만을 사용하여 정신분열병 환자와 건강한 대조군을 분류하는 데 67%의 분류 정확도를 달성하였으며, 이는 우연의 결과보다 유의미하게 높았다.
• 사후 평균의 상관계수 행렬은 건강한 대조군과 환자군이 뚜렷한 군집을 이루며 의미 있는 군집 간 분리가 이루어졌음을 보여주었다.
• VAE가 추출한 특징들은 ICA 또는 PCA 또는 RBM 기반 방법보다 더 높은 특징 겹침을 보이며, 더 일관되고 안정적인 특징 학습을 의미한다.
• 상관계수 행렬에 대한 커뮤니티 탐지 기법을 적용한 결과, 잠재 특징 간에 구조적이고 생물학적으로 타당한 관계가 존재하는 명확한 군집이 확인되었다.