[논문 리뷰] Non-Orthogonal Tensor Diagonalization, a Tool for Block Tensor Decompositions

Petr Tichavský, Anh Huy Phan외 1명|arXiv (Cornell University)|2014. 02. 07.

Tensor decomposition and applications인용 수 4

한 줄 요약

이 논문은 비직교 텐서 대각화 알고리즘을 소개하며, 단일 변환 행렬을 사용해 두 개 이상의 모드를 동시에 대각화함으로써 효율적인 블록 텐서 분해를 가능하게 한다. 이 방법은 3차 텐서에 대해 반복당 O(N⁴)의 복잡도를 달성하며, 모멘트 기반 독립 부분공간 분석, 텐서 디컨볼루션, 특징 추출 등의 응용에 적합하다.

ABSTRACT

This paper presents algorithms for non-orthogonal tensor diagonalization, which can be used for block tensor decomposition. The diagonalization can be performed along two or more tensor dimensions simultaneously. The method seeks for one diagonalizing matrix of determinant 1 for each mode that together convert a given tensor into a tensor that meets a block revealing condition. Perturbation analysis of the algorithm showing how small changes in the tensor translate in small changes of the diagonalization outcome is provided. The algorithm has a low computational complexity, comparable to complexity of the fastest available canonical polyadic decomposition algorithms. For example, the diagonalization of order-3 tensor of the size NxNxN has the complexity of the order O(N^4) per iteration. If the tensor has a different shape, a Tucker compression should be applied prior to the diagonalization. The algorithm can be applied in cumulant-based independent subspace decomposition or for tensor deconvolution and feature extraction using the convolutive model.

연구 동기 및 목표

• 다양한 텐서 모드에서 동시에 블록 텐서 분해를 가능하게 하는 비직교 텐서 대각화 프레임워크를 개발하는 것.
• 기존 텐서 분해 방법과 비교해 계산 복잡도를 감소시키면서도 수치적 안정성을 유지하는 것.
• 소규모 텐서 편향에 대한 민감도를 정량화하는 편향 분석을 제공하는 것.
• 모멘트 기반 독립 부분공간 분석과 같은 고차 통계 응용에 적합하도록 하는 것.
• 특징 추출 및 텐서 디컨볼루션을 위한 복합 모델로의 적용 가능성을 확장하는 것.

제안 방법

• 입력 텐서를 블록 구조를 드러내는 형태로 변환하기 위해 각 텐서 모드마다 유일행렬(행렬식이 1인) 대각화 행렬을 하나씩 계산한다.
• 반복 최적화 기법을 사용해 두 개 이상의 텐서 모드에서 동시에 대각화를 수행한다.
• 텐서의 차원이 정육면체가 아닐 경우 텐서의 계산 부담을 줄이기 위해 터커 압축을 활용한다.
• 입력 값의 미세한 변화에 대한 대각화 결과의 민감도를 정량화하기 위해 편향 분석을 도출한다.
• 가장 빠른 캐논리컬 폴리아드 분해 방법과 유사한 계산 복잡도를 가지도록 알고리즘을 설계한다.
• 핵심 변환은 결과 텐서가 블록 구조를 드러내어 후속 분해 작업을 용이하게 한다.

실험 결과

연구 질문

• RQ1 비직교 텐서 대각화를 다중 텐서 모드에서 동시에 효율적으로 수행할 수 있는 방법은 무엇인가?
• RQ2 제안된 대각화 알고리즘의 계산 복잡도는 얼마이며, 기존 텐서 분해 방법과 비교해 어떻게 다를까?
• RQ3 입력 텐서의 소규모 편향에 대해 대각화 결과는 얼마나 민감한가?
• RQ4 대각화 프레임워크는 모멘트 기반 독립 부분공간 분석에 어떤 방식으로 적용될 수 있는가?
• RQ5 이 방법은 복합 모델에서의 텐서 디컨볼루션 및 특징 추출으로까지 확장될 수 있는가?

주요 결과

• 제안된 알고리즘은 크기가 NxNxN인 3차 텐서에 대해 반복당 O(N⁴)의 계산 복잡도를 달성한다.
• 유일행렬 변환 행렬을 사용해 두 개 이상의 텐서 모드에서 동시에 대각화를 지원한다.
• 편향 분석 결과, 입력 텐서의 미세한 변화는 대각화 결과의 미세한 변화로 이어짐을 확인했다.
• 비정육면체 형태의 텐서에 대해 터커 압축은 효율성을 유지하기 위한 효과적인 사전 처리 단계로 기능한다.
• 모멘트 기반 독립 부분공간 분석 응용에 적합한 블록 텐서 분해를 가능하게 한다.
• 텐서 디컨볼루션 및 복합 모델에서의 특징 추출에 응용 가능하여 광범위한 유용성을 보인다.