[논문 리뷰] Matrix Product State for Feature Extraction of Higher-Order Tensors

Johann A. Bengua, Ho N. Phien외 2명|arXiv (Cornell University)|2015. 03. 02.

Tensor decomposition and applications참고 문헌 18인용 수 4

한 줄 요약

이 논문은 고차원 텐서에서 특징 추출을 위한 계산적으로 효율적인 방법으로 행렬 곱 상태(MPS) 분해를 제안한다. 이는 연속적인 특이값 분해(SVD)를 통해 최대 차수 3인 코어 텐서를 추출함으로써 이루어지며, 텐서 분류 작업에서 HOOI보다 더 낮은 특징 공간과 뚜렷한 계산적 절감을 이룩한 우수한 분류 성능을 달성한다.

ABSTRACT

This paper introduces matrix product state (MPS) decomposition as a computational tool for extracting features of multidimensional data represented by higher-order tensors. Regardless of tensor order, MPS extracts its relevant features to the so-called core tensor of maximum order three which can be used for classification. Mainly based on a successive sequence of singular value decompositions (SVD), MPS is quite simple to implement without any recursive procedure needed for optimizing local tensors. Thus, it leads to substantial computational savings compared to other tensor feature extraction methods such as higher-order orthogonal iteration (HOOI) underlying the Tucker decomposition (TD). Benchmark results show that MPS can reduce significantly the feature space of data while achieving better classification performance compared to HOOI.

연구 동기 및 목표

• 고차원 텐서에 대한 Tucker 분해(TD)와 HOOI의 계산적 병목 현상, 즉 NP-완전 최적화 문제와 큰 코어 텐서 차원으로 인한 문제를 해결한다.
• 고차원 텐서의 핵심 특징을 유지하면서 계산 비용을 최소화하는 차원 축소 기법을 개발한다.
• 비재귀적이고 SVD 기반의 접근 방식을 통해 다차원 데이터에서 저차원 코어 텐서를 추출하여 효율적인 텐서 분류를 가능하게 한다.
• COIL-100, EYFB, BCI EEG 신호 등 다양한 데이터셋에서 MPS가 HOOI보다 분류 성공률과 특징 공간 축소 측면에서 뛰어난 성능을 보임을 입증한다.

제안 방법

• 연속적인 SVD를 사용하여 고차원 텐서를 혼합-표준형으로 표현하는 행렬 곱 상태(MPS) 분해를 적용한다.
• 원본 텐서에서 최대 차수 3인 코어 텐서를 추출하여 차원이 감소된 핵심 특징을 유지한다.
• 순차적 SVD를 통해 유도된 직교 공통 요인 텐서를 사용하여 HOOI가 요구하는 재귀 최적화 절차를 피한다.
• 분류를 위해 코어 텐서를 $Q \times \tilde{\Delta}_1 \times \tilde{\Delta}_2$ (또는 $Q \times \tilde{\Delta}_1 \times \denom{\Delta}_2 \times \tilde{\Delta}_3$) 크기로 잘라내며, 이때 $\tilde{\Delta}_l < \Delta_l$이다.
• 감소된 코어 텐서에 대해 KNN-1 및 선형 판별 분석(LDA)과 같은 표준 분류기들을 적용하여 분류를 수행한다.
• 평가의 공정성을 확보하기 위해 훈련 세트와 테스트 세트 간에 일관된 잘라내기 수준 $\tilde{\Delta}_l$을 유지한다.

실험 결과

연구 질문

• RQ1 MPS 분해는 HOOI에 비해 계산 복잡도를 줄이며 고차원 텐서에서 분류에 유용한 특징을 효과적으로 추출할 수 있는가?
• RQ2 동일한 수의 특징을 사용할 때 MPS는 HOOI보다 더 높은 분류 성공률을 달성하는가?
• RQ3 COIL-100, EYFB, BCI EEG 데이터 등 다양한 데이터셋에서 MPS의 성능은 HOOI에 비해 어떻게 비교되는가?
• RQ4 MPS의 SVD 기반 비재귀적 구조는 분류 정확도를 훼손하지 않으면서 계산 비용을 얼마나 줄이는가?
• RQ5 코어 텐서가 크게 압축되어도 MPS는 높은 분류 성능을 유지할 수 있는가?

주요 결과

• EYFB 데이터셋에서 LDA를 사용할 경우 MPS는 모든 테스트 임계값에서 분류 성공률(CSR) 97.32±0.89를 달성하여 HOOI를 모두 초월한다.
• COIL-100 데이터셋에서는 모든 임계값 $\epsilon$ 및 KNN-1과 LDA 분류기에서 MPS가 HOOI보다 일관되게 높은 CSR을 기록한다.
• BCIJ EEG 데이터셋에서 MPS는 모든 테스트된 $\Delta$ 값(8에서 14)에서 HOOI보다 더 좋은 분류 결과를 도출하였으며, 코어 텐서 크기가 작아졌다.
• 코어 텐서가 잘린 경우 MPS는 HOOI보다 특징 공간을 더 효과적으로 축소하면서도 분류 정확도를 유지하거나 향상시킨다.
• 재귀 최적화가 없이 연속적인 SVD에 의존하므로 계산 비용을 크게 절감할 수 있다.
• 가장 작은 임계값 $\epsilon$에서도 MPS는 더 큰 $\epsilon$을 사용한 HOOI와 비교해 높은 성능을 유지하여 강건성과 효율성을 입증한다.