[논문 리뷰] Computing Eigenvalues of Large Scale Hankel Tensors

Yannan Chen, Liqun Qi외 1명|arXiv (Cornell University)|2015. 04. 28.

Tensor decomposition and applications참고 문헌 46인용 수 5

한 줄 요약

이 논문은 대규모 헨켈 텐서의 Z- 및 H-고유값을 계산하기 위해 푸리에 변환(FFT)과 케일리 변환을 활용한 비정확 곡선 탐색 알고리즘(ACSA-Hankel)을 제안한다. 이는 단위 구면 위에서 효율적인 최적화를 가능하게 한다. 알고리즘은 반복당 계산 복잡도가 O(mn log(mn))이며, Kurdyka-Łojasiewicz 성질을 통해 선형 수렴을 보이며, 표준 데스크톱 컴퓨터에서 차원 수 백만에 이르는 텐서의 고유값을 성공적으로 계산한다.

ABSTRACT

Large scale tensors, including large scale Hankel tensors, have many applications in science and engineering. In this paper, we propose an inexact curvilinear search optimization method to compute Z- and H-eigenvalues of $m$th order $n$ dimensional Hankel tensors, where $n$ is large. Owing to the fast Fourier transform, the computational cost of each iteration of the new method is about $\mathcal{O}(mn\log(mn))$. Using the Cayley transform, we obtain an effective curvilinear search scheme. Then, we show that every limiting point of iterates generated by the new algorithm is an eigen-pair of Hankel tensors. Without the assumption of a second-order sufficient condition, we analyze the linear convergence rate of iterate sequence by the Kurdyka-Łojasiewicz property. Finally, numerical experiments for Hankel tensors, whose dimension may up to one million, are reported to show the efficiency of the proposed curvilinear search method.

연구 동기 및 목표

• 신호 처리, 제어 이론, 영상 분야에서 흔한 대규모 헨켈 텐서의 Z- 및 H-고유값을 효율적으로 계산하기 위한 알고리즘 개발
• 차원 수 백만에 이르는 텐서에 대해 기존 고유값 해법이 계산적으로 불가능한 문제를 해결하기 위해
• 헨켈의 구조와 빠른 푸리에 변환(FFT)을 활용해 반복당 비용을 O(mn log(mn))으로 감소시키기 위해
• 이차 충분 조건을 요구하지 않고도 전역 수렴성과 선형 수렴 속도를 확립하기 위해
• 고차원 헨켈 텐서에서의 수치 실험을 통해 확장성과 효율성을 입증하기 위해

제안 방법

• 단위 구면 위에 기반한 기울기 프로젝션을 통한 탐색 방향 계산을 활용한 비정확 곡선 탐색 최적화 방법을 제안한다.
• 케일리 변환을 사용하여 단위 구면 상에서 탈진을 유지하는 효과적인 곡선 탐색 체계를 구축한다.
• 빠른 푸리에 변환(FFT)을 활용해 텐서-벡터 곱을 효율적으로 계산함으로써 반복당 비용을 O(mn log(mn))으로 감소시킨다.
• 알고리즘은 단위 구면 제약 조건이 있는 제약 최적화 문제로 공식화되며, 목적 함수는 텐서와 관련된 동차 다항식이다.
• 제약 조건을 처리하기 위해 이차 페널티 재구성 방법을 사용하고, 계산 효율성을 향상시키기 위해 비정확 선 탐색을 구현한다.
• Kurdyka-Łojasiewicz(KŁ) 성질을 활용한 수렴성 분석을 수행하여, 이차 충분 조건을 요구하지 않더라도 반복의 선형 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 차원 수 백만에 이르는 대규모 헨켈 텐서의 Z- 및 H-고유값을 계산하기 위한 효율적인 최적화 방법을 설계할 수 있는가?
• RQ2 FFT를 활용해 헨켈의 구조를 이용하여 반복당 계산 비용을 O(mn log(mn))으로 줄일 수 있는가?
• RQ3 케일리 변환을 활용한 제안된 곡선 탐색 방법이 고유쌍으로의 전역 수렴을 보장하는가?
• RQ4 이차 충분 조건보다 더 약한 가정 하에 선형 수렴을 확립할 수 있는가?
• RQ5 힐버트 텐서의 최대 고유값에 대한 이론적 상한 값은 얼마나 날카로운가? 그리고 수치적으로 그에 가까이 접근할 수 있는가?

주요 결과

• 제안된 ACSA-Hankel 알고리즘은 차원 수 백만의 4차 헨켈 텐서의 최대 Z-고유값을 약 35분 만에 성공적으로 계산하였다.
• 차원 수 백만의 6차 헨켈 텐서에 대해서는 약 55분이 소요되어 표준 데스크톱 하드웨어에서도 확장성을 입증하였다.
• 바르모나 텐서의 최대 Z-고유값은 제안된 알고리즘으로 계산된 결과, 제1항에서 제시된 이론적 상한 값과 정확히 일치하여 알고리즘의 정확성을 확인하였다.
• 힐버트 텐서의 최대 Z-고유값에 대한 이론적 상한 값은 수치 실험을 통해 거의 날카로운 것으로 밝혀졌으며, 상수 인자 정도의 오차만 존재하였다.
• 힐버트 텐서의 최대 H-고유값 역시 이론적 상한 값에 매우 가까이 도달하였으며, 알고리즘이 높은 정확도를 달성하였다.
• Kurdyka-Łojasiewicz 성질을 통해 이차 충분 조건을 요구하지 않더라도 반복의 선형 수렴을 보장할 수 있었으며, 이는 수렴 분석의 적용 범위를 넓혔다.