[논문 리뷰] T-Singular Values and T-Sketching for Third Order Tensors

Liqun Qi, Gaohang Yu|arXiv (Cornell University)|2021. 03. 01.

Tensor decomposition and applications참고 문헌 17인용 수 13

한 줄 요약

이 논문은 텐서 튜벌 랭크와 T-SVD를 활용하여 제3차원 텐서에 대한 T-특이값과 T-스케치링을 도입하여 단일 패assing 알고리즘을 통해 효율적인 저랭크 근사를 가능하게 한다. 이 방법은 전체 T-SVD에 비해 훨씬 빠른 런타임을 보이며, 특히 스펙트럼이 감소하는 텐서에 대해 경쟁적인 정확도를 달성한다.

ABSTRACT

Based upon the T-SVD (tensor SVD) of third order tensors, introduced by Kilmer and her collaborators, we define T-singular values of third order tensors. T-singular values of third order tensors are nonnegative scalars. The number of nonzero T-singular values is the tensor tubal rank of the tensor. We then use T-singular values to define the tail energy of a third order tensor, and apply it to the error estimation of a tensor sketching algorithm for low rank tensor approximation. Numerical experiments on real world data show that our algorithm is efficient.

연구 동기 및 목표

• T-SVD 기반으로 제3차원 텐서에 대한 T-특이값을 정의하여, 이들이 비음수 스칼라임을 보장하고 텐서 튜벌 랭크와 동일한 개수를 갖도록 한다.
• 저랭크 근사에서 오차 추정을 위해 T-특이값을 기반으로 한 텐서의 尾에너지(꼬리 에너지)를 정의한다.
• T-곱 연산을 통한 랜덤 프로젝션을 이용한 단일 패assing 텐서 스케치 알고리즘을 개발한다.
• T-특이값과 尾에너지 기반으로 제안된 스케치 알고리즘에 대한 확률적 오차 한계를 수립한다.
• 합성 및 실세계 데이터(이미지 및 영상 포함)에서 제안된 방법의 효율성과 정확도를 입증한다.

제안 방법

• 제3차원 텐서의 T-SVD 분해에서 얻어진 f-대각 텐서로부터 유도된 비음수 스칼라로 T-특이값을 정의한다.
• 지정된 랭크를 초과하는 가장 작은 T-특이값들의 제곱합으로서, 근사 오차를 유 bounds하는 데 사용되는 尾에너지(꼬리 에너지)를 수식화한다.
• 두 개의 독립된 표준 정규 분포 텐서 $χ \in \mathbb{R}^{n\times k\times p}$ 와 $\mathcal{C} \in \mathbb{R}^{l\times m\times p}$ 를 이용하여 $\mathcal{Y} = \mathcal{A} * \mathcal{B}$ 와 $\mathcal{W} = \mathcal{C} * \mathcal{A}$ 를 T-곱을 통해 계산하는 텐서 스케치를 구성한다.
• T-직교삼각분해 $\mathcal{Y} = \mathcal{Q} * \mathcal{R}$ 를 수행하며, 여기서 $\mathcal{Q}$ 는 부분적으로 직교적이며 $\mathcal{R}$ 은 f-상삼각행렬이다.
• 최소제곱 문제 $\mathcal{X} = (\mathcal{C} * \mathcal{Q})^\dagger * \mathcal{W}$ 를 풀어 중간 텐서를 구한다.
• 텐서 튜벌 랭크 $k$ 를 갖는 저랭크 근사 $\hat{\mathcal{A}} = \mathcal{Q} * \mathcal{X}$ 를 재구성한다.

실험 결과

연구 질문

• RQ1 T-SVD 프레임워크와 일치하고 텐서 튜벌 랭크를 반영하는 방식으로 T-특이값을 정의할 수 있는가?
• RQ2 T-특이값 기반의 尾에너지(꼬리 에너지)는 저랭크 텐서 근사의 오차를 어떻게 추정하는 데 사용될 수 있는가?
• RQ3 T-곱 연산을 활용한 단일 패assing 텐서 스케치 알고리즘이 전체 T-SVD에 비해 훨씬 낮은 계산 비용으로 유사한 정확도를 달성할 수 있는가?
• RQ4 스펙트럼이 감소하는 텐서에 대해 제안된 T-스케치링 방법의 성능은 rt-SVD 알고리즘과 정확도, 런타임, 메모리 효율성 측면에서 어떻게 비교되는가?

주요 결과

• HDU 컬러 이미지에 대해 T-스케치링 알고리즘이 $k=200$ 일 때 상대 오차가 $10^{-5}$ 이하로 유지되었고, $k=600$ 일 때는 $10^{-8}$ 이하로 유지되어 고정밀 저랭크 근사를 실현하였다.
• HDU 이미지의 경우 $k=200$ 에서 PSNR가 26.27에 도달했고, $k=600$ 에서는 38.72에 도달하여 거의 손실 없는 압축 품질을 보였다.
• T-스케치링 방법은 전체 T-SVD 계산을 피하기 때문에 rt-SVD 대비 3배에서 5배 빠르게 실행되었으며, 합성 및 실세계 데이터에서 유사한 정확도를 확보하였다.
• 빠르게 지수 감소하는 스펙트럼을 갖는 텐서의 경우, T-스케치링 방법은 $k=30$ 에서 최적의 저랭크 근사를 달성하여 급격히 감소하는 스펙트럼에 대해 강력한 수렴성을 보였다.
• 영상 데이터(144×176×30 텐서 포함)를 포함한 모든 테스트 케이스에서 rt-SVD와 유사한 정확도를 유지하면서도 메모리 사용량과 계산 비용을 더 줄였다.
• 꼬리 에너지 기반으로 유도된 확률적 오차 한계는 근사 오차를 효과적으로 예측하여 이론적 기반의 타당성을 입증하였다.