[논문 리뷰] Bayesian Sparse Tucker Models for Dimension Reduction and Tensor Completion

Qibin Zhao, Liqing Zhang외 1명|arXiv (Cornell University)|2015. 05. 10.

Tensor decomposition and applications참고 문헌 31인용 수 48

한 줄 요약

이 논문은 계층적 라플라스 및 스튜던트-t 사전확률을 통해 구조적 희박성 유지를 위한 베이지안 희소 터커 모델을 제안하며, 다중선형 랭크 자동 결정 및 터서 복원을 가능하게 한다. 이 방법은 변분 베이지안 추론을 사용하여 모델 파라미터와 초파rameter를 동시에 추정하며, 최소한의 사용자 간섭으로도 합성 데이터, 화학계량학 데이터, 그리고 MRI 데이터에서 낮은 랭크 구조와 누락된 항목을 뛰어난 성능으로 복원한다.

ABSTRACT

Tucker decomposition is the cornerstone of modern machine learning on tensorial data analysis, which have attracted considerable attention for multiway feature extraction, compressive sensing, and tensor completion. The most challenging problem is related to determination of model complexity (i.e., multilinear rank), especially when noise and missing data are present. In addition, existing methods cannot take into account uncertainty information of latent factors, resulting in low generalization performance. To address these issues, we present a class of probabilistic generative Tucker models for tensor decomposition and completion with structural sparsity over multilinear latent space. To exploit structural sparse modeling, we introduce two group sparsity inducing priors by hierarchial representation of Laplace and Student-t distributions, which facilitates fully posterior inference. For model learning, we derived variational Bayesian inferences over all model (hyper)parameters, and developed efficient and scalable algorithms based on multilinear operations. Our methods can automatically adapt model complexity and infer an optimal multilinear rank by the principle of maximum lower bound of model evidence. Experimental results and comparisons on synthetic, chemometrics and neuroimaging data demonstrate remarkable performance of our models for recovering ground-truth of multilinear rank and missing entries.

연구 동기 및 목표

• 노이즈가 많고 완전하지 못한 데이터에서 터커 분해 시 다중선형 랭크 수동 선택의 과제를 해결하기 위해.
• 구조적 희박성 사전확률을 갖춘 베이지안 추론을 통해 모델 복잡도 자동 적응을 가능하게 하기 위해.
• 데이터 증거로부터 최적의 랭크를 추론함으로써 터서 복원의 일반화 성능 향상시키기 위해.
• 대규모 터서 응용을 위한 다중선형 연산 기반의 확장 가능하고 효율적인 알고리즘 개발하기 위해.
• 잠재 요인에 대한 불확실성 인식 추론을 제공하여 낮은 랭크 복원의 강건성 향상시키기 위해.

제안 방법

• 다중선형 잠재 공간에 그룹 희박성을 유도하기 위해 계층적 라플라스 및 스튜던트-t 사전확률을 도입한다.
• 잠재 요인, 코어 텐서, 초파rameter를 동시에 추정하기 위해 변분 베이지안 추론을 활용한다.
• 다중선형 연산과 유도된 정리들을 사용하여 계산 효율성과 확장성 향상시키기 위해.
• 모델 증거의 최소 하한 원리를 적용하여 최적의 다중선형 랭크를 자동으로 결정한다.
• 비공액 사전확률 추론을 변분 근사로 구현하여 라플라스 사전확률을 처리한다.
• 완전 관측 텐서 분해와 부분 관측 텐서 복원을 통합된 프레임워크에서 지원한다.

실험 결과

연구 질문

• RQ1 베이지안 희소 터커 모델은 수동 지정 없이 최적의 다중선형 랭크를 자동으로 결정할 수 있는가?
• RQ2 계층적 사전확률을 통한 구조적 희박성은 누락 데이터와 노이즈 하에서 터서 복원 성능을 어떻게 향상시키는가?
• RQ3 비공액 사전확률을 갖춘 변분 베이지안 추론은 터서 분해에서 강건성과 일반화 성능을 얼마나 향상시키는가?
• RQ4 HaLRTC 및 iHOOI와 같은 최신 기법들과 비교해 복소 MRI 및 화학계량학 데이터에서 제안된 방법은 어떻게 성능을 내는가?
• RQ5 고비율 누락 및 비균일하게 분포된 누락 데이터 하에서도 모델은 높은 성능을 유지하는가?

주요 결과

• MRI 데이터에서 50% 누락 비율일 때 BTC-T와 BTC-L은 PSNR(27.32 ± 0.11)가 가장 높고 RRSE(0.12)가 가장 낮아 iHOOI와 HaLRTC를 능가했다.
• 80% 누락 비율일 때 BTC-T는 PSNR 20.14 ± 0.25와 RRSE 0.25를 기록했으며, HaLRTC(PSNR 17.37 ± 0.34)와 iHOOI(PSNR 18.65 ± 0.30)를 크게 앞섰다.
• 글로벌 터서 복원에서 BTC-T는 80% 누락 비율에서 PSNR 22.33을 기록했으며, WTucker(19.42)와 iHOOI(19.77)를 초월했다.
• 고노이즈 및 고누락 조건에서도 고정밀도로 참값의 다중선형 랭크를 성공적으로 복원했다.
• 그림 6의 시각적 결과는 특히 고누락 비율에서 MRI 데이터에서 BTC-T의 뛰어난 재구성 품질을 확인했다.
• BTC 방법들은 신경영상 및 화학계량학을 포함한 다양한 데이터 유형에서 뚜렷한 성능 향상을 보이며 뛰어난 강건성을 보였다.