[논문 리뷰] Unsupervised Data Imputation via Variational Inference of Deep Subspaces

Adrian V. Dalca, John V. Guttag외 1명|arXiv (Cornell University)|2019. 03. 08.

AI in cancer detection참고 문헌 50인용 수 5

한 줄 요약

이 논문은 변분 추론을 통해 깊이 있는 비선형 부분공간을 활용하여 고차원 이미지의 누락된 픽셀을 보간하기 위한 비지도 딥 생성 모델을 제안한다. 희박성 인식 신경망 블록을 도입하고 데이터셋 전체의 구조를 활용함으로써, 특히 극도로 희박한 상황에서 선형 모델과 딥 이미지 프리오르보다 뛰어난 성능을 보이며, MNIST와 임상 MRI 데이터(83% 누락)에서 이를 입증하였다.

ABSTRACT

A wide range of systems exhibit high dimensional incomplete data. Accurate estimation of the missing data is often desired, and is crucial for many downstream analyses. Many state-of-the-art recovery methods involve supervised learning using datasets containing full observations. In contrast, we focus on unsupervised estimation of missing image data, where no full observations are available - a common situation in practice. Unsupervised imputation methods for images often employ a simple linear subspace to capture correlations between data dimensions, omitting more complex relationships. In this work, we introduce a general probabilistic model that describes sparse high dimensional imaging data as being generated by a deep non-linear embedding. We derive a learning algorithm using a variational approximation based on convolutional neural networks and discuss its relationship to linear imputation models, the variational auto encoder, and deep image priors. We introduce sparsity-aware network building blocks that explicitly model observed and missing data. We analyze proposed sparsity-aware network building blocks, evaluate our method on public domain imaging datasets, and conclude by showing that our method enables imputation in an important real-world problem involving medical images. The code is freely available as part of the \verb|neuron| library at http://github.com/adalca/neuron.

연구 동기 및 목표

• 의료 영상에서 완전히 관측된 데이터가 가용하지 않은 상황에서 누락된 이미지 데이터의 비지도 보간 문제를 해결하기 위해.
• PCA와 같은 선형 부분공간 모델의 한계를 넘어서 고차원 희박 영상 데이터의 복잡한 비선형 상관관계를 모델링하기 위해.
• 변분 추론과 딥 신경망을 통합한 원칙적인 확률적 프레임워크를 개발하여 누락된 데이터 복구를 위해.
• 모든 희박한 이미지 간에 공유되는 글로벌 잠재 표현을 학습함으로써 조건부 평균 보간과 다중 보간을 가능하게 하기 위해.
• 극도의 희박성(예: 83% 누락 픽셀)을 가진 실제 임상 MRI 데이터에서 모델의 효과성을 입증하기 위해.

제안 방법

• 희박한 고차원 이미지 데이터가 깊이 있는 비선형 잠재 부분공간을 통해 생성되는 확률적 모델을 제안하며, 변분 오토에인드어 유사 프레임워크를 사용한다.
• 누락된 데이터가 존재하는 상황에서 잠재 변수의 사후 분포를 근사하기 위해 컨볼루션 신경망을 사용한 변분 추론 알고리즘을 유도한다.
• 전방 및 역방향 전파 과정에서 관측된 데이터와 누락된 데이터를 명시적으로 모델링하는 희박성 인식 완전 연결 및 컨볼루션 레이어를 도입한다.
• 재구성 가능성을 높이기 위해 재구성 전략을 사용한 변분 하한(ELBO)을 최적화하고, 엔드 투 엔드 학습을 가능하게 하기 위해 재구성 기법을 적용한다.
• 모든 이미지 간에 공유되는 글로벌 잠재 표현을 사용하여 이미지 간 상관관계를 포착하고, 극도의 희박성 상황에서도 보간이 가능하도록 한다.
• 합성(MNIST, Fashion-MNIST) 및 실제 의료 MRI 데이터셋에 모델을 적용하여, 희박성 인식 구성 요소가 포함된 모델과 없는 모델의 변형을 비교한다.

실험 결과

연구 질문

• RQ1 극도의 희박성 하에서 선형 부분공간 모델보다 깊이 있는 비선형 부분공간 모델이 비지도 이미지 보간에서 더 나은 성능을 보일 수 있는가?
• RQ2 표준 아키텍처에 비해 명시적인 희박성 인식 네트워크 레이어를 통합함으로써 보간 성능이 어떻게 향상되는가?
• RQ3 모든 희박한 이미지 간에 공유되는 글로벌, 공통의 잠재 표현이 개별 이미지 기반 방법(예: 딥 이미지 프리오르)보다 더 나은 보간을 가능하게 하는가?
• RQ4 완전한 관측값이 가용하지 않은 상황에서 제안된 방법이 지도 학습 기반 보간 기준선과 어떻게 비교되는가?
• RQ5 83%의 픽셀이 누락된 상태에서 모델이 임상 MRI 스캔에서 미세한 해부학적 구조를 얼마나 잘 재구성할 수 있는가?

주요 결과

• 희박성 인식 컨볼루션 및 완전 연결 레이어를 갖춘 제안된 방법은 모든 MNIST 및 Fashion-MNIST 희박성 수준에서 가장 뛰어난 재구성 성능를 기록했으며, 선형 모델과 표준 VAE 변종보다 뛰어났다.
• 83%의 슬라이스가 누락된 뇌 MRI 데이터셋에서, 제안된 방법은 해부학적으로 타당한 재구성을 생성했지만, 선형 부분공간 모델과 보간 방법은 심각한 아티팩트를 유발했다.
• MRI 슬라이스당 추론에 평균 18.6 ± 13.7 ms가 소요되었으며, 반복 최적화를 사용하는 딥 이미지 프리오르보다 훨씬 빠르게 작동했다(각 이미지당 36.5 ± 0.2초).
• 희박성 인식 네트워크 구성 요소는 필수적이었다: 비록 비선형 아키텍처를 사용했더라도, 이를 포함하지 않은 모델은 극도의 희박성 하에서 일반화에 실패했다.
• 이미지 간 상관관계를 활용함으로써 모델은 뛀아난 일반화 성능를 보였으며, 개별 이미지의 관측 픽셀 수가 매우 적은 경우에도 정확한 보간을 가능하게 했다.
• 딥 이미지 프리오르와 비교할 때, 제안된 방법은 스케일링 측면에서 더 뛰어난 재구성 품질을 달성했으며, DIP는 개별 이미지당 데이터가 부족한 고희박성 상황에서 실패했다.