[논문 리뷰] Towards Probabilistic Tensor Canonical Polyadic Decomposition 2.0: Automatic Tensor Rank Learning Using Generalized Hyperbolic Prior.

Lei Cheng, Zhongtao Chen외 3명|arXiv (Cornell University)|2020. 09. 05.

Tensor decomposition and applications참고 문헌 44인용 수 6

한 줄 요약

이 논문은 확률적 캐논리컬 폴라리티 분해(CPD)에서 자동 텐서 秩 학습을 위한 일반화된 하이퍼볼릭(GH) 사전을 제안하며, 낮은 신호 대 잡음비(SNR) 조건에서도 낮은 질서와 높은 질서 텐서 모두에서 강건한 질서 추정을 가능하게 한다. 더 높은 희소성 유연성을 갖춘 가우시안-가우스 모델을 확장함으로써, 폐쇄형 업데이트를 갖는 변분 추론을 사용하여, 시뮬레이션 및 실세계 데이터 실험에서 기존 방법들을 능가한다.

ABSTRACT

Tensor rank learning for canonical polyadic decomposition (CPD) has long been deemed as an essential but challenging problem. In particular, since the tensor rank controls the complexity of the CPD model, its inaccurate learning would cause overfitting to noise or underfitting to the signal sources, and even destroy the interpretability of model parameters. However, the optimal determination of a tensor rank is known to be a non-deterministic polynomial-time hard (NP-hard) task. Rather than exhaustively searching for the best tensor rank via trial-and-error experiments, Bayesian inference under the Gaussian-gamma prior was introduced in the context of probabilistic CPD modeling and it was shown to be an effective strategy for automatic tensor rank determination. This triggered flourishing research on other structured tensor CPDs with automatic tensor rank learning. As the other side of the coin, these research works also reveal that the Gaussian-gamma model does not perform well for high-rank tensors or/and low signal-to-noise ratios (SNRs). To overcome these drawbacks, in this paper, we introduce a more advanced generalized hyperbolic (GH) prior to the probabilistic CPD model, which not only includes the Gaussian-gamma model as a special case, but also provides more flexibilities to adapt to different levels of sparsity. Based on this novel probabilistic model, an algorithm is developed under the framework of variational inference, where each update is obtained in a closed-form. Extensive numerical results, using synthetic data and real-world datasets, demonstrate the excellent performance of the proposed method in learning both low as well as high tensor ranks even for low SNR cases.

연구 동기 및 목표

• 캐논리컬 폴라리티 분해(CPD)에서 자동 텐서 질서 결정 문제를 해결하기 위해, 이는 NP-완전이며 모델의 해석 가능성과 일반화에 핵심적이다.
• 고전적인 가우시안-가우스 사전이 높은 질서 텐서와 낮은 신호 대 잡음비(SNR) 조건에서 성능이 떨어지는 데서 비롯된 한계를 극복하기 위해.
• 텐서 성분의 다양한 희소성 수준에 적응 가능한 더 유연한 확률적 CPD 모델을 개발하기 위해.
• 효율적이고 확장 가능한 질서 학습을 보장하기 위해 폐쇄형 변분 추론 업데이트를 가능하게 하기 위해.
• 낮은 SNR 및 높은 질서 시나리오를 포함한 다양한 데이터 환경에서 뛰어난 성능을 입증하기 위해.

제안 방법

• CPD 요인 행렬에 대한 계층적 사전으로 일반화된 하이퍼볼릭(GH) 사전을 도입하여, 가우시안-가우스 사전을 특수한 경우로 포함한다.
• GH 사전을 통해 다양한 텐서 질서에서 적응형 희소성 제어가 가능한 계층적 베이지안 프레임워크를 활용하여 CPD 매개변수를 모델링한다.
• GH 사전의 공액성 성질을 활용하여 변분 추론을 위한 폐쇄형 업데이트 식을 유도한다.
• 완전히 자동화된 방식으로 텐서 질서와 CPD 매개변수를 동시에 추정하기 위해 변분 베이지안 추론 프레임워크를 활용한다.
• GH 분포의 무거운 尾행성을 활용하여 고질서 또는 낮은 SNR 데이터에서의 희소하고 복잡한 구조를 더 잘 포착한다.
• 후행 분포 매개변수의 반복적 업데이트를 통해 변분 하한(ELBO)을 최적화함으로써 수렴성과 확장성을 보장한다.

실험 결과

연구 질문

• RQ1 가우시안-가우스 모델보다 더 유연한 사전이 확률적 CPD에서 자동 텐서 질서 학습 성능을 향상시킬 수 있는가?
• RQ2 일반화된 하이퍼볼릭 사전은 기존 방법들과 비교해 고질서 텐서의 질서 추정에 어떻게 성능을 발휘하는가?
• RQ3 제안된 방법은 낮은 신호 대 잡음비(SNR) 조건에서도 강건성을 유지하는가?
• RQ4 GH 사전은 기저 텐서 성분의 다양한 희소성 수준에 얼마나 잘 적응하는가?
• RQ5 GH 사전을 사용해 폐쇄형 변분 추론 업데이트를 달성할 수 있는가? 이는 계산 효율성을 보장한다.

주요 결과

• 제안된 일반화된 하이퍼볼릭(GH) 사전은 특히 고질서 및 낮은 SNR 조건에서 가우시안-가우스 사전보다 텐서 질서 학습 성능을 크게 향상시킨다.
• 모델은 시뮬레이션 및 실세계 데이터셋 모두에서 정확한 질서 추정을 달성하여 노이즈와 복잡성에 강건함을 입증한다.
• 광범위한 수치적 결과는 GH 사전이 텐서 성분 내 다양한 희소성 수준에 효과적으로 적응할 수 있음을 확인한다.
• 폐쇄형 변분 추론 업데이트 덕분에 계산 효율성과 확장성이 보장되어 실용적 구현이 가능하다.
• 진짜 질서가 높거나 SNR이 낮을 경우, 질서 추정 정확도 측면에서 기존 방법들을 능가한다.
• GH 사전은 가우시안-가우스 모델을 일반화하며, 확률적 CPD에서 자동 텐서 질서 학습을 위한 더 유연한 프레임워크를 제공한다.