[논문 리뷰] A Fast Algorithm for Cosine Transform Based Tensor Singular Value Decomposition

Wenhao Xu, Xi-Le Zhao외 1명|arXiv (Cornell University)|2019. 02. 08.

Tensor decomposition and applications참고 문헌 26인용 수 7

한 줄 요약

이 논문은 복소수 산술을 피하고 반사 경계 조건을 활용하기 위해 이산余弦변환(DCT)을 이산푸리에변환(DFT) 대신 사용하는 빠른 실수값 텐서 특이값분해(t-SVD)를 제안한다. 이 방법은 저질서 텐서 완성 작업에서 두 배 빠른 계산 속도와 향상된 재구성 정확도를 달성하며, 특히 영상 및 다중스펙트럼 이미지 복원에서 DFT 기반 t-SVD를 넘어선 성능을 보인다.

ABSTRACT

Recently, there has been a lot of research into tensor singular value decomposition (t-SVD) by using discrete Fourier transform (DFT) matrix. The main aims of this paper are to propose and study tensor singular value decomposition based on the discrete cosine transform (DCT) matrix. The advantages of using DCT are that (i) the complex arithmetic is not involved in the cosine transform based tensor singular value decomposition, so the computational cost required can be saved; (ii) the intrinsic reflexive boundary condition along the tubes in the third dimension of tensors is employed, so its performance would be better than that by using the periodic boundary condition in DFT. We demonstrate that the tensor product between two tensors by using DCT can be equivalent to the multiplication between a block Toeplitz-plus-Hankel matrix and a block vector. Numerical examples of low-rank tensor completion are further given to illustrate that the efficiency by using DCT is two times faster than that by using DFT and also the errors of video and multispectral image completion by using DCT are smaller than those by using DFT.

연구 동기 및 목표

• DFT 기반 t-SVD에서 발생하는 복소수 산술을 피할 수 있는 실수값 텐서 특이값분해(t-SVD) 프레임워크를 개발하는 것.
• DFT에서 사용하는 주기적 경계 조건 대신 반사 경계 조건을 사용하여 재구성 성능을 향상시키는 것.
• 새로운 DCT 기반 t-SVD를 활용한 저질서 텐서 완성에 효율적인 알고리즘을 설계하는 것.
• 기존 DFT 기반 t-SVD 접근 방식에 비해 제안된 방법이 계산 효율성과 재구성 정확도 측면에서 뛰어나다는 것을 입증하는 것.

제안 방법

• 표준 t-SVD에서 사용하는 DFT 대신 이산余弦변환(DCT)을 기반으로 한 새로운 텐서 곱셈을 제안한다.
• DCT 기반 텐서 곱셈이 블록 토플리츠+한켈 행렬과 블록 벡터의 곱셈과 동일하다는 것을 입증한다.
• 저질서 텐서 완성에 적합한 새로운 텐서 핵노름인 TNN-C를 DCT 기반 t-SVD에서 유도한다.
• TNN-C를 사용하여 텐서 완성 모델을 해결하기 위한 효율적인 분할역할법(ADMM) 알고리즘을 개발한다.
• 실제 데이터에서 신호 연속성을 더 잘 유지하기 위해 텐서의 세 번째 차원에 반사 경계 조건을 적용한다.
• 복소수 산술 대신 실수값 산술을 사용하여 DFT 기반 방법에 비해 계산 비용을 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 이산余름변환(DCT)이 복소수 산술을 피할 수 있도록 텐서 특이값분해에서 이산푸리에변환(DFT)의 대체로 효과적으로 사용될 수 있는가?
• RQ2 DCT 기반 t-SVD에서 반사 경계 조건을 사용할 경우 DFT 기반 t-SVD의 주기적 경계 조건에 비해 더 나은 재구성 성능를 달성하는가?
• RQ3 DCT 기반 t-SVD의 계산 효율성은 텐서 완성 작업에서 DFT 기반 t-SVD와 비교해 어떻게 되는가?
• RQ4 DCT 기반 t-SVD는 DFT 기반 t-SVD에 비해 영상 및 다중스펙트럼 이미지 복원에서 재구성 정확도를 얼마나 향상시키는가?
• RQ5 제안된 방법은 재구성 품질을 유지하거나 향상시키면서 수렴 속도를 빠르게 하고 시간 비용을 낮출 수 있는가?

주요 결과

• DCT 기반 t-SVD 방법은 텐서 완성 작업에서 DFT 기반 t-SVD에 비해 약 두 배 빠른 속도를 기록한다.
• 영상 및 다중스펙트럼 이미지 완성 작업에서 DCT 기반 방법(TNN-C)은 PSNR, SSIM, SAM, ERGAS 등의 오차 지표에서 DFT 기반 방법(TNN-F)보다 낮은 값을 기록한다.
• 10% 샘플링 비율에서 다중스펙트럼 이미지 복원 시 TNN-C는 Stuffed Toys에 대해 PSNR 36.63, Peppers에 대해 PSNR 36.87을 기록하여 TNN-F를 크게 앞서며 성능을 뛰어나게 한다.
• TNN-C의 평균 런타임은 10% 샘플링 비율에서 164.5초로, TNN-F의 320.2초에 비해 뚜렷이 감소하였다.
• 매개변수 변화에 대해 뛰어난 내구성을 보이며, 최적 성능는 β = 1×10⁻²에서 달성되었고, 다양한 값에서 안정적인 수렴을 보였다.
• 그림 7의 시각적 결과는 TNN-C가 TNN-F에 비해 더 자연스럽고 세밀한 재구성을 제공함을 보여주며, 특히 미세한 무늬와 윤곽을 잘 유지한다.