[논문 리뷰] Introduction to Tensor Decompositions and their Applications in Machine Learning

Stephan Rabanser, Oleksandr Shchur외 1명|arXiv (Cornell University)|2017. 11. 29.

Tensor decomposition and applications참고 문헌 25인용 수 160

한 줄 요약

이 논문은 텐서 개념, 분해(CPD 및 Tucker), 그 수학적 성질, 알고리즘 및 기계 학습 응용을 조사하며, 혼합 모델 및 토픽 모델에 대한 사례 연구를 포함한다.

ABSTRACT

Tensors are multidimensional arrays of numerical values and therefore generalize matrices to multiple dimensions. While tensors first emerged in the psychometrics community in the $20^{ ext{th}}$ century, they have since then spread to numerous other disciplines, including machine learning. Tensors and their decompositions are especially beneficial in unsupervised learning settings, but are gaining popularity in other sub-disciplines like temporal and multi-relational data analysis, too. The scope of this paper is to give a broad overview of tensors, their decompositions, and how they are used in machine learning. As part of this, we are going to introduce basic tensor concepts, discuss why tensors can be considered more rigid than matrices with respect to the uniqueness of their decomposition, explain the most important factorization algorithms and their properties, provide concrete examples of tensor decomposition applications in machine learning, conduct a case study on tensor-based estimation of mixture models, talk about the current state of research, and provide references to available software libraries.

연구 동기 및 목표

• 머신러닝 및 비지도 학습 환경에서 텐서 사용의 동기를 부여한다.
• 기본 텐서 개념, 표기법, 그리고 텐서가 행렬보다 더 강한 식별성을 제공하는 방법을 소개한다.
• CPD(CANDECOMP/PARAFAC)와 Tucker 분해를 제시하고 그 특성을 비교한다.
• 주요 텐서 알고리즘(Jennrich, ALS, 텐서 파워 메서드)와 수렴/고유성 측면을 설명한다.
• 구면 GMM 및 토픽 모델에 대한 구체적인 텐서 기반 매개변수 추정 방법을 보여준다.
• 이용 가능한 텐서 소프트웨어 라이브러리에 대한 안내와 남아 있는 연구 질문을 개괄한다.

제안 방법

• 텐서 기초: 차수(order), 표기법, 순위(rank), 그리고 텐서 연산(외적/내적 곱, 모드-n 곱)을 소개한다.
• 랭크-1 텐서와 CPD(CPD/CP-ALS) 프레임워크를 정의하고, 텐서를 랭크-1 구성요소의 합으로 분해하는 방법을 설명한다.
• 동일한 요인과 직교성의 특수 경우에 대한 텐서 파워 메서드를 제시한다.
• 크루스칼 랭크 및 텐서에 특화된 랭크 속성에 의한 CPD의 고유성 조건을 논의한다.
• 코어 텐서와 요인 행렬을 포함하는 고차원 PCA로서의 Tucker 분해 및 고차원 SVD(HOSVD)를 설명한다.
• CPD와 Tucker 분해를 위한 알고리즘과 잠재 매개변수 추정, 부분공간 추정 및 압축에의 적용 가능성을 개괄한다.

실험 결과

연구 질문

• RQ1 텐서 분해가 기계 학습에서 다방향 데이터에 대해 고유하고 식별 가능한 표현을 어떻게 제공할 수 있는가?
• RQ2 CPD와 Tucker 분해를 계산하는 실용 알고리즘은 무엇이며, 어떤 조건에서 수렴하거나 고유한 해를 산출하는가?
• RQ3 저차원 텐서 모멘트를 활용해 가우시안 혼합 및 토픽 모델과 같은 확률 모델의 매개변수 추정에 어떻게 활용할 수 있는가?
• RQ4 비지도 학습 및 다관계 데이터 분석에서 텐서 분해의 계산적 트레이드오프와 응용은 무엇인가?

주요 결과

• 텐서는 행렬을 더 높은 차원으로 일반화하고, 행렬 분해보다 더 완화된 조건에서 더 강한 식별성을 제공한다.
• CPD와 Tucker는 두 가지 중심 텐서 분해이며, CPD는 잠재 매개변수 추정에, Tucker는 부분공간 추정 및 압축에 선호된다.
• CPD(Jennrich, ALS, 텐서 파워 메서드)에 대해 가정(랭크, 독립성, 직교성)에 주의하며 다수의 실용 알고리즘이 논의된다.
• 텐서는 요인 행렬과, 그리고 Tucker에서는 상호작용을 포착하는 코어 텐서를 분해하여 데이터에서 저차원 구조를 추출하게 한다.
• 사례 연구를 통해 저차원 모멘트 정보를 사용한 구면 가우시안 혼합 모델과 토픽 모델에 대한 텐서 기반 매개변수 추정을 보여준다.
• 논문은 소프트웨어 라이브러리를 인용하고 텐서 분석 및 응용에서 남아 있는 연구 질문을 강조한다.