[논문 리뷰] Development of ICA and IVA Algorithms with Application to Medical Image Analysis

Zois Boukouvalas|arXiv (Cornell University)|2017. 01. 01.

Blind Source Separation Techniques참고 문헌 7인용 수 5

한 줄 요약

이 논문은 통계적 역량, 희박성, 정확한 확률 밀도 추정을 통합하여 의료 영상 분석에서 맹검 소스 분리 성능을 향상시키는 유연한 ICA 및 IVA 알고리즘을 제안한다. 최대 엔트로피 기반 PDF 추정, 다변량 일반화된 가우시안 분포 모델링, 그리고 독립성과 희박성을 균형 잡는 통합 최적화 프레임워크를 활용하여, 시뮬레이션된 데이터와 fMRI 유사 데이터에서 표준 ICA/IVA 방법을 능가하는 뛰어난 분리 성능을 달성한다.

ABSTRACT

Blind source separation (BSS) is an active area of research due to its applicability to a variety of problems, especially when there is a little known about the observed data. Applications where BSS has been successfully utilized include the analysis of medical imaging data, such as functional magnetic resonance imaging (fMRI) data, detection of specific targets in video sequences or multi-spectral remote sensing data, among many others. Independent component analysis (ICA) is a widely used BSS method that can uniquely achieve source recovery, subject to only scaling and permutation ambiguities, through the assumption of statistical independence on the part of the latent sources. Independent vector analysis (IVA) extends the applicability of ICA by jointly decomposing multiple datasets through the exploitation of the dependencies across datasets. Though both ICA and IVA algorithms cast in the maximum likelihood (ML) framework enable the use of all available statistical information---forms of diversity---in reality, they often deviate from their theoretical optimality properties due to improper estimation of the probability density function (PDF). This motivates the development of flexible ICA and IVA algorithms that closely adhere to the underlying statistical description of the data. Although it is attractive to let the data ''speak'' and hence minimize the assumptions, important prior information about the data, such as sparsity, is usually available. If incorporated into the ICA model, use of this additional information can relax the independence assumption, resulting in an improvement in the overall separation performance. Therefore, the development of a unified mathematical framework that can take into account both statistical independence and sparsity is of great interest. In this dissertation, we first introduce a flexible ICA algorithm that uses an effective PDF estimator to accurately capture the underlying statistical properties of the data, yielding superior separation performance and maintaining the desirable optimality of ML estimation. We then discuss several techniques to accurately estimate the parameters of the multivariate generalized Gaussian distribution, and how to integrate them into the IVA model and derive a class of flexible IVA algorithms that take both second-order statistics and higher-order statistics into account. Finally, we provide a mathematical framework that enables direct control over the influence of statistical independence and sparsity, and use this framework to develop an effective ICA algorithm that can jointly exploit these two forms of diversity. Hence, by increasing the flexibility of ICA and IVA algorithms and by enriching the models through the incorporation of reliable priors, we enhance the capabilities of ICA and IVA and, thus, enable their application to many problems. We demonstrate the effectiveness of the proposed ICA and IVA algorithms using numerical examples as well as fMRI-like data.

연구 동기 및 목표

• 최대 엔트로피 원리를 기반으로 커널 기반 추정을 사용하여 데이터 PDF를 정확히 모델링하는 다용도 ICA 알고리즘을 개발하여 소스 분리 성능을 향상시키는 것.
• 이차 및 고차 통계를 함께 모델링하는 다변량 일반화된 가우시안 분포(MGGD)를 기반으로 한 효과적인 IVA 알고리즘의 클래스를 창출하는 것.
• 통계적 독립성과 희박성을 하나의 최적화 프레임워크에 통합하여 표준 ICA/IVA를 초월하는 분리 성능 향상을 이루는 것.
• 제안된 알고리즘을 시뮬레이션된 데이터와 fMRI 유사 데이터셋에서 검증하여 더 높은 강인성과 정확도를 입증하는 것.

제안 방법

• 비정규 분포의 소스 분포를 커널 기반 PDF 추정을 통해 정확히 모델링하는 최대 엔트로피 원리와 커널 밀도 추정을 활용한 다용도 ICA 알고리즘 ICA-EMK를 제안한다.
• IVA 응용에서 정확도를 향상시키기 위해 MGGD 모델의 두 가지 매개변수 추정 기법—ML-FS 및 RA-FP—을 도입한다.
• 다중 데이터셋에 걸친 동시 분해를 통합한 MGGD 모델링을 적용한 새로운 IVA 알고리즘 IVA-A-GGD를 개발한다.
• 통계적 독립성과 희박성의 영향을 조절할 수 있는 조정 가능한 비용 함수를 통해 두 요소의 균형을 이루는 통합 최적화 프레임워크를 설계한다.
• 비선형 다변량 MGGD의 안정적 매개변수 추정을 위해 리만 기하학과 고정점 반복(RA-FP)을 활용하며, 비팽창성 조건 하에서 수렴성이 증명된다.
• 수치 실험과 fMRI 유사 데이터를 활용하여 성능을 평가하며, 수렴성 검증을 위해 리만 거리 분석을 수행한다.

실험 결과

연구 질문

• RQ1 최대 엔트로피와 커널 기반 추정을 기반으로 한 다용도 ICA 알고리즘이 표준 ICA에 비해 소스 분리 정확도를 향상시킬 수 있는가?
• RQ2 MGGD에 대한 ML-FS 및 RA-FP 매개변수 추정 기법이 다중 데이터셋 분해에서 IVA 알고리즘 성능에 미치는 영향은 무엇인가?
• RQ3 통합 프레임워크가 통계적 독립성과 희박성을 효과적으로 균형 잡아 의료 영상에서의 소스 분리 성능 향상에 기여할 수 있는가?
• RQ4 제안된 IVA-A-GGD 알고리즘이 fMRI 유사 데이터에서 기존 IVA보다 더 뛰어난 분리 성능을 달성할 수 있는가?
• RQ5 실제 데이터 조건 하에서 MGGD 매개변수 추정을 위한 RA-FP 알고리즘이 증명 가능하게 수렴하는가?

주요 결과

• ICA-EMK는 커널 기반 PDF 추정을 통해 비정규 소스 분포를 정확히 모델링함으로써 시뮬레이션된 데이터와 인위적 영상 혼합물에서 뛰어난 분리 성능을 달성한다.
• MGGD 매개변수 추정을 위한 RA-FP 알고리즘은 비팽창성 및 컴act성 가정 하에서 최대우도 추정치로 수렴함을 증명하였으며, 수치 결과는 그 안정성을 뒷받침한다.
• IVA-A-GGD는 MGGD를 통한 이차 및 고차 통계의 동시 모델링으로 인해 다중 데이터셋 fMRI 유사 데이터에서 표준 IVA를 능가하는 분리 성능을 보인다.
• 통합 최적화 프레임워크는 독립성과 희박성 간의 상호작용을 직접 제어할 수 있게 하여 희박성과 비정규성 특성을 띤 데이터에서 더 높은 강인성과 성능 향상을 이룬다.
• 수치 실험 결과, 제안된 알고리즘들이 최대우도 프레임워크 하에서 이론적 최적성을 유지하면서도 실제 데이터 특성인 희박성과 무거운 尾(꼬리) 분포에 적응함을 확인하였다.
• 시뮬레이션 결과, RA-FP 알고리즘이 β = 4 및 β = 8 조건에서 비팽창 행동을 보이며, 해에 가까운 초기값에서 진짜 매개변수 추정치로 수렴함을 확인하였다.