[논문 리뷰] Tensor Networks for Big Data Analytics and Large-Scale Optimization Problems

Andrzej Cichocki|arXiv (Cornell University)|2014. 07. 11.

Tensor decomposition and applications참고 문헌 93인용 수 45

한 줄 요약

이 논문은 대규모 데이터 분석에서의 대규모 최적화 문제를 해결하기 위한 확장 가능한 프레임워크로 텐서 네트워크, 특히 텐서 트레인(TT) 및 양자화된 텐서 트레인(QTT) 분해를 제안한다. 고차원 데이터를 저질서 텐서 네트워크로 변환함으로써, 소규모 행렬과 반복적 수축을 사용한 효율적인 계산이 가능해져, 기존에 해결이 불가능한 문제에 대해 초압축 및 처리 가능한 해를 달성한다.

ABSTRACT

In this paper we review basic and emerging models and associated algorithms for large-scale tensor networks, especially Tensor Train (TT) decompositions using novel mathematical and graphical representations. We discus the concept of tensorization (i.e., creating very high-order tensors from lower-order original data) and super compression of data achieved via quantized tensor train (QTT) networks. The purpose of a tensorization and quantization is to achieve, via low-rank tensor approximations "super" compression, and meaningful, compact representation of structured data. The main objective of this paper is to show how tensor networks can be used to solve a wide class of big data optimization problems (that are far from tractable by classical numerical methods) by applying tensorization and performing all operations using relatively small size matrices and tensors and applying iteratively optimized and approximative tensor contractions. Keywords: Tensor networks, tensor train (TT) decompositions, matrix product states (MPS), matrix product operators (MPO), basic tensor operations, tensorization, distributed representation od data optimization problems for very large-scale problems: generalized eigenvalue decomposition (GEVD), PCA/SVD, canonical correlation analysis (CCA).

연구 동기 및 목표

• 빅 데이터의 높은 볼륨, 다양한 유형, 빠른 속도, 높은 신뢰성 등의 특성을 고려할 때, 기존 수치적 방법의 한계를 해결한다.
• 기존 접근 방식으로는 계산이 불가능한 대규모 최적화 문제를 다룰 수 있는 확장 가능한 프레임워크를 개발한다.
• 텐서화와 저질서 근사화를 통해 뇌 영상, 시계열, 스펙트로그램과 같은 다중 모odal, 고차원 데이터의 효율적 처리를 가능하게 한다.
• 텐서 네트워크를 분산형, 계층적 표현으로 도입하여 차원 축소, 누락 데이터 처리, 노이즈에 강한 데이터 처리를 지원한다.
• TT 분해를 통해 글로벌 대규모 문제를 국소적이고 처리 가능한 부분 문제로 변환하는 통합된 계산 철학을 제공한다.

제안 방법

• 저차원 데이터(예: 행렬, 벡터)를 다중 방향적 구조를 활용하기 위해 고차원 텐서로 변환하기 위해 텐서화를 적용한다.
• 텐서 트레인(TT) 분해를 사용하여 텐서를 저차원 코어 텐서의 순서로 표현함으로써 압축과 효율적 계산을 가능하게 한다.
• 특히 구조화된 고차원 배열에 대해 매우 효과적인 초압축을 위한 양자화된 텐서 트레인(QTT) 네트워크를 구현한다.
• 소규모 행렬을 사용하여 수축, 특이값 분해(SVD), 일반화된 고유값 분해와 같은 모든 연산을 TT 형식 내에서 수행한다.
• 복잡한 다중선형 연산과 코어 간 수축을 시각화하고 관리하기 위해 텐서 네트워크 다이어그램을 활용한다.
• ALS, DMRG, CUR/크로스 근사화와 같은 반복 알고리즘을 사용하여 저질서 제약 조건 하에서 TT 분해 및 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 텐서 네트워크는 거대하고 고차원적인 데이터를 효과적으로 압축하고 표현할 수 있을까? 이 과정에서 필수적인 구조적 및 통계적 성질을 유지할 수 있을까?
• RQ2 TT/QTT 분해가 해결이 불가능한 대규모 최적화 문제를 처리 가능한 국소적 부분 문제로 얼마나 효과적으로 변환할 수 있을까?
• RQ3 텐서 네트워크 방법은 뇌과학 및 생물정보학과 같은 다양한 과학 분야에서 노이즈가 많은, 완전하지 않은, 다중 모달 데이터를 어떻게 다룰 수 있을까?
• RQ4 다양한 근사 정확도와 TT 랭크 제약 조건 하에서 TT 기반 최적화 알고리즘의 수렴성 및 안정성 특성은 어떠한가?
• RQ5 텐서 네트워크 모델은 분자의 구조와 같은 복잡한 시스템을 의미 있는 물리적 해석과 함께 통합할 수 있도록 어떻게 확장할 수 있을까?

주요 결과

• 텐서 트레인(TT) 분해는 대규모 데이터의 효과적인 압축을 가능하게 하여 계산 복잡도를 낮추면서도 높은 정확도를 유지한다.
• 양자화된 텐서 트레인(QTT) 네트워크는 초압축을 달성하여, 기존에 페타바이트의 메모리가 필요로 하는 데이터의 효율적 저장 및 처리를 가능하게 한다.
• 이 프레임워크는 글로벌 최적화 문제를 순차적인 국소적, 저차원 부분 문제로 변환하며, 각 문제는 표준 수치적 방법으로 해결 가능하다.
• 텐서 네트워크는 누락된 값과 노이즈가 많은 데이터를 강력하게 처리할 수 있어, 높은 신뢰성 도전 과제를 안고 있는 실세계의 대규모 데이터에 적합하다.
• 이 방법은 조건부 주성분 분석(PCA)/특이값 분해(SVD), 공통성 분석(CCA), 일반화된 고유값 분해(GEVD)와 같은 다양한 문제에 적용 가능하며, 높은 데이터 다양성과 차원성 조건 하에서도 유용하다.
• 다만 TT 랭크 적응 제어, 랭크 폭발 방지, TT 알고리즘에 대한 사전 오차 경계 및 수렴 보장 개발 등의 과제는 여전히 남아 있다.