[논문 리뷰] Learning Tensor Train Representation with Automatic Rank Determination from Incomplete Noisy Data

Le Xu, Lei Cheng외 2명|arXiv (Cornell University)|2020. 10. 13.

Tensor decomposition and applications참고 문헌 29인용 수 5

한 줄 요약

이 논문은 완전 베이지안 텐서 트리플리케이션(TT) 분해 방법을 제안하며, 노이즈가 있는 불완전한 데이터로부터 TT 랭크를 자동으로 결정한다. 이는 TT 코어 조각에 대한 가우시안-곱-감마 사전을 도입하여 희박성을 유도함으로써 이루어진다. 변분 추론 기반 학습 알고리즘은 진정한 TT 구조를 성공적으로 복원하고, 이미지 복원 및 분류 작업에서 기존 방법들을 능가한다.

ABSTRACT

Tensor train (TT) decomposition, a powerful tool for analysing multidimensional data, exhibits superior performance in many signal processing and machine learning tasks. However, existing methods for TT decomposition either require the knowledge of the true TT ranks, or extensive fine-tuning the balance between model complexity and representation accuracy. In this paper, a fully Bayesian treatment of TT decomposition is employed to enable automatic rank determination. In particular, theoretical evidence is established for adopting a Gaussian-product-Gamma prior to induce sparsity on the slices of the TT cores, so that the model complexity is automatically determined even under incomplete and noisy observed data. Based on the proposed probabilistic model, an efficient learning algorithm is derived under the variational inference framework. Simulation results on synthetic data show the success of the proposed model and algorithm on recovering the ground-truth TT structure from incomplete noisy data. Further experiments on real world data demonstrate the proposed algorithm performs better in image completion and image classification, compared to other existing TT decomposition algorithms.

연구 동기 및 목표

• 기본값 랭크가 알려져 있지 않은 경우 텐서 분해에서 TT 랭크 선택 문제를 해결하기 위해.
• 불완전하고 노이즈가 있는 데이터 조건에서도 강건한 TT 분해를 가능하게 하기 위해.
• 수동 조정 없이 모델 복잡도를 자동으로 결정하는 확률 모델을 개발하기 위해.
• 실제 응용 분야인 이미지 복원 및 분류에서 성능을 향상시키기 위해.

제안 방법

• 불확실성 정량화와 자동 복잡도 제어를 가능하게 하기 위해 TT 분해를 위한 완전한 베이지안 프레임워크를 적용한다.
• TT 코어 조각에 대한 가우시안-곱-감마 사전을 도입하여 희박성을 유도하고 자동 랭크 결정을 촉진한다.
• TT 코어에 대한 사후 분포를 근사하기 위해 변분 추론을 사용한 효율적인 학습 알고리즘을 유도한다.
• 불완전하고 노이즈가 있는 관측치 하에서 희박성과 모델 선택을 촉진하기 위한 사전 선택에 대한 이론적 근거를 제공한다.
• 원칙적인 확률적 방법으로 불확실성에 대해 통합하여 TT 코어와 그 랭크를 동시에 추정한다.

실험 결과

연구 질문

• RQ1 기본값 지식이나 수동 조정 없이 베이지안 TT 분해 모델이 올바른 TT 랭크를 자동으로 결정할 수 있는가?
• RQ2 노이즈가 있고 불완전한 데이터 하에서 제안된 가우시안-곱-감마 사전이 희박성을 유도하고 자동 랭크 선택을 가능하게 하는 데 얼마나 효과적인가?
• RQ3 기존의 TT 분해 알고리즘에 비해 제안된 방법이 진정한 텐서 구조를 복원하는 데 얼마나 뛰어난가?
• RQ4 이 방법은 이미지 복원 및 이미지 분류와 같은 실용적 응용에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 불완전하고 노이즈가 있는 관측치 하에서 합성 데이터로부터 진정한 TT 구조를 성공적으로 복원한다.
• 가우시안-곱-감마 사전은 TT 코어 조각의 희박성을 이끌어내는 데 이론적 근거를 제공하며, 자동 랭크 결정을 가능하게 한다.
• 이미지 복원 작업에서는 기존의 TT 분해 방법 대비 더 높은 재구성 정확도를 달성한다.
• 이 방법은 이미지 분류 작업에서 뛰어난 성능을 보이며, 불완전한 데이터로부터 개선된 표현 학습이 가능하다는 것을 시사한다.