[논문 리뷰] Tensor-Tensor Products for Optimal Representation and Compression

Misha E. Kilmer, Lior Horesh외 2명|arXiv (Cornell University)|2019. 12. 31.

Tensor decomposition and applications참고 문헌 21인용 수 5

한 줄 요약

이 논문은 고차원 데이터의 최적의 저랭크 근사 및 압축을 위한 텐서-텐서 곱 기반의 절삭된 SVDs(t-SVDM 및 t-SVDMII)를 제안한다. 이는 이론적으로도 수치적으로도 텐서 기반 표현이 전통적인 행렬 기반 매트리시제이션보다 압축 효율성과 근사 정확도에서 뛰어남을 입증하며, 실험에서는 최대 22.73배의 압축 비율과 0.045의 상대 오차를 기록한다.

ABSTRACT

In this era of big data, data analytics and machine learning, it is imperative to find ways to compress large data sets such that intrinsic features necessary for subsequent analysis are not lost. The traditional workhorse for data dimensionality reduction and feature extraction has been the matrix SVD, which presupposes that the data has been arranged in matrix format. Our main goal in this study is to show that high-dimensional data sets are more compressible when treated as tensors (aka multiway arrays) and compressed via tensor-SVDs under the tensor-tensor product structures in (Kilmer and Martin, 2011; Kernfeld et al., 2015). We begin by proving Eckart Young optimality results for families of tensor-SVDs under two different truncation strategies. As such optimality properties can be proven in both matrix and tensor-based algebras, a fundamental question arises: does the tensor construct subsume the matrix construct in terms of representation efficiency? The answer is yes, as shown when we prove that a tensor-tensor representation of an equal dimensional spanning space can be superior to its matrix counterpart. We then investigate how the compressed representation provided by the truncated tensor-SVD is related both theoretically and in compression performance to its closest tensor-based analogue, truncated HOSVD (De Lathauwer et al., 2000; De Lathauwer and Vandewalle, 2004), thereby showing the potential advantages of our tensor-based algorithms. Finally, we propose new tensor truncated SVD variants, namely multi-way tensor SVDs, provide further approximated representation efficiency and discuss under which conditions they are considered optimal. We conclude with a numerical study demonstrating the utility of the theory.

연구 동기 및 목표

• 고차원 데이터 압축에서 텐서-텐서 곱 구조 하에 텐서 SVD의 이론적 최적성을 확립하기 위해.
• 텐서 기반 표현이 표현 효율성 측면에서 행렬 기반 표현을 포함할 수 있는지 오랫동안 남아있던 질문을 해결하기 위해.
• 기존의 HOSVD 및 행렬 SVD와 비교해 성능을 향상시킬 수 있는 새로운 텐서 기반 SVD 변형(t-SVDMII)을 개발하기 위해.
• 매트리시제이션 대비 텐서 기반 처리가 내재된 데이터 구조를 더 잘 유지하고 더 높은 압축 비율을 가능하게 함을 입증하기 위해.
• 실제 데이터에 대한 제안된 방법의 이론적 보장과 경험적 검증을 제공하기 위해.

제안 방법

• 논문은 고차원 텐서를 저랭크 근사에 적합한 형태로 변환하기 위해 텐서-텐서 곱을 적용하는 t-SVDM 및 t-SVDMII 알고리즘을 도입한다.
• 역행 가능성이 있는 변환 행렬 M과 B(예: DFT 행렬)를 사용하여 텐서-텐서 곱을 정의함으로써 각 모드에서 독립적인 처리를 가능하게 한다.
• 변환된 텐서의 전면 슬라이스에 대해 경제적 SVD를 적용한 후, 에너지 기반 절단을 통해 주요 성분을 유지한다.
• t-SVDMII 변형은 텐서와 그 순열의 t-SVDM 표현의 볼록 조합을 사용하여 랭크 최적화를 통한 추가적인 압축을 가능하게 한다.
• 이 프레임워크는 텐서 설정에서 에크하르트-영 최적성의 이론적 분석을 허용하며, 절삭된 텐서-SVD가 프로베니우스 노름에서 최적의 저랭크 근사를 달성함을 증명한다.
• 이 방법은 4차원 YaleB 얼굴 이미지 데이터셋에 대해 수치적으로 검증되었으며, 패치들이 텐서 요소로 간주되고 제안된 알고리즘을 통해 압축되었다.

실험 결과

연구 질문

• RQ1 텐서-텐서 곱을 통한 텐서 기반 저랭크 근사는 매트리시제이션 기반의 방법보다 더 나은 압축과 근사 정확도를 달성할 수 있는가?
• RQ2 텐서-텐서 곱 프레임워크는 표현 효율성 측면에서 행렬 SVD를 포함할 수 있는가?
• RQ3 제안된 t-SVDM 및 t-SVDMII 알고리즘의 성능은 기존의 HOSVD 및 행렬 SVD와 비교해 압축 비율과 오차 측면에서 어떻게 다른가?
• RQ4 다양한 절단 전략과 텐서 곱 구조 하에서 절삭된 텐서-SVD의 이론적 최적성은 어떠한가?
• RQ5 압축을 극대화하고 근사 오차를 최소화하기 위해 변환 행렬 M과 B는 어떻게 설계할 수 있는가?

주요 결과

• p=8, q=2, 에너지 허용 오차 γ=0.994를 사용할 경우 t-SVDMII 알고리즘은 압축 비율 22.73과 상대 오차 0.077를 달성한다.
• 동일한 데이터에 대해 γ=0.998일 때 t-SVDMII는 압축 비율 8.85와 상대 오차 0.045를 기록하며, t-SVDM보다 두 성능 지표에서 모두 뛰어나다.
• 제안된 텐서 기반 방법은 행렬 기반 SVD보다 뛰어난 압축 효율성을 보이며, t-SVDMII는 YaleB 데이터셋에서 최대 22.73배의 압축 비율을 달성한다.
• 이론적 분석은 텐서-텐서 곱 하에서 절삭된 텐서-SVD가 에크하르트-영 최적성 조건을 만족함을 확인하며, 이는 저랭크 근사에서의 최적성을 증명한다.
• 이 프레임워크는 텐서 기반 표현이 행렬 기반 표현보다 더 효율적일 수 있음을 보여주며, t-SVDMII는 t-SVDM 및 행렬 SVD보다 더 낮은 오차와 더 높은 압축 비율을 달성한다.
• 연구는 변환 행렬 M과 B의 선택이 압축 성능에 상당한 영향을 미친다는 것을 드러내며, 최적의 결과를 얻기 위해 데이터 적응형 설계가 필수적임을 시사한다.