[논문 리뷰] Fast Hankel Tensor-Vector Products and Application to Exponential Data Fitting

Weiyang Ding, Liqun Qi외 1명|arXiv (Cornell University)|2014. 01. 24.

Tensor decomposition and applications참고 문헌 17인용 수 11

한 줄 요약

이 논문은 히스켈 텐서-벡터 곱을 빠르게 계산하기 위한 알고리즘을 제안한다. 히스켈 텐서를 더 큰 반순환 텐서에 매립함으로써 푸리에 행렬에 의한 대각화 성질을 활용한다. 이 방법은 계산 복잡도를 𝒪((m+1)dₕ log dₕ)로 줄여, 노이즈가 존재하는 상황에서도 높은 정확도로 1차원 및 2차원 지수 데이터 피팅을 효율적으로 수행할 수 있게 한다.

ABSTRACT

This paper is contributed to a fast algorithm for Hankel tensor-vector products. For this purpose, we first discuss a special class of Hankel tensors that can be diagonalized by the Fourier matrix, which is called \emph{anti-circulant} tensors. Then we obtain a fast algorithm for Hankel tensor-vector products by embedding a Hankel tensor into a larger anti-circulant tensor. The computational complexity is about $\mathcal{O}(m^2 n \log mn)$ for a square Hankel tensor of order $m$ and dimension $n$, and the numerical examples also show the efficiency of this scheme. Moreover, the block version for multi-level block Hankel tensors is discussed as well. Finally, we apply the fast algorithm to exponential data fitting and the block version to 2D exponential data fitting for higher performance.

연구 동기 및 목표

• 신호 처리와 데이터 피팅에서 핵심적인 역할을 하는 히스켈 텐서-벡터 곱에 대한 효율적인 알고리즘이 부족한 문제를 해결한다.
• 직접 계산 방법의 높은 계산 비용을 줄이기 위해 히스켈 텐서 연산을 위한 빠른 계산 체계를 개발한다.
• 텐서 기반 접근법을 사용하여 1차원 및 2차원에서 고성능의 지수 데이터 피팅을 가능하게 한다.
• 다차원 데이터 구조를 위한 블록 히스켈 텐서로 빠른 알고리즘을 확장한다.
• 고차원 특이값 분해(HOSVD)에 빠른 텐서-벡터 곱을 통합하여 구조화된 텐서 근사화를 실현한다.

제안 방법

• 히스켈 텐서를 더 큰 반순환 텐서에 매립하여 푸리에 행렬에 의한 대각화 성질을 활용한다.
• 반순환 텐서는 주기적인 생성 벡터를 가지며 푸리에 행렬에 의해 대각화되므로, 이 성질을 이용해 곱셈을 빠르게 수행할 수 있다.
• 빠른 푸리에 변환(FFT)을 사용하여 텐서-벡터 곱을 𝒪((m+1)dₕ log dₕ) 시간 내에 계산한다. 여기서 dₕ는 히스켈 텐서의 자유도이다.
• 저질서 텐서 근사화를 위한 고차원 직교 반복(HOOI) 프레임워크에 빠른 알고리즘을 적용하여 지수 데이터 피팅에 활용한다.
• 다층 블록 구조 텐서에 동일한 매립 및 FFT 기반 전략을 적용하여 블록 히스켈 텐서(BHHB)로 방법을 확장한다.
• 시스템 양측에 노이즈가 존재하는 경우를 고려하여, 다항식 근사의 계수를 추정하기 위해 총 최소 제곱법을 사용한다.

실험 결과

연구 질문

• RQ1 직접 계산 방법보다 히스켈 텐서-벡터 곱을 더 효율적으로 계산할 수 있는가?
• RQ2 푸리에 행렬에 의해 대각화되는 반순환 텐서를 활용해 히스켈 텐서 연산을 가속화할 수 있는가?
• RQ3 제안된 빠른 텐서-벡터 곱 알고리즘의 계산 복잡도는 얼마인가?
• RQ4 노이즈가 존재하는 조건에서 1차원 및 2차원 지수 데이터 피팅에 빠른 알고리즘이 얼마나 효과적인가?
• RQ5 블록 버전의 빠른 알고리즘이 다차원 지수 데이터 피팅에서 성능 향상에 기여하는가?

주요 결과

• 제안된 빠른 히스켈 텐서-벡터 곱 알고리즘은 계산 복잡도 𝒪((m+1)dₕ log dₕ)를 달성하여 직접 계산 방식에 비해 비용을 크게 줄였다.
• 1차원 지수 데이터 피팅에서, 최적의 랭크-(2,2,2) 근사가 상대 오차가 노이즈 수준에 도달하는 바늘을 정확히 복원하였다.
• 2차원 지수 데이터 피팅에서는 노이즈가 첨가된 상황에서도 블록 버전의 알고리즘이 신호에서 두 개의 구분 가능한 피크를 성공적으로 분리하였다.
• 수치 실험 결과, 구성된 BHHB 텐서의 모드-1 특이값이 노이즈가 없는 경우에 두 개의 주요 값으로 뚜렷하게 분리되고, 나머지는 기계 정밀도 수준에 가까운 것으로 나타났다.
• 극점 추정에 총 최소 제곱법을 사용함으로써 노이즈에 대한 강건성이 확보되었으며, 노이즈 수준과 비교해도 정확도를 유지하였다.
• 빠른 체계는 히스켈 텐서-벡터 곱을 포함하는 모든 알고리즘에 통합되어 계산 효율성을 향상시킬 수 있다.