[논문 리뷰] Kernelized Support Tensor Train Machines

Cong Chen, Kim Batselier외 2명|arXiv (Cornell University)|2020. 01. 02.

Tensor decomposition and applications참고 문헌 30인용 수 4

한 줄 요약

이 논문은 다차원 데이터에 대한 커널 방법을 가능하게 하기 위해 텐서 트레인(TT) 분해를 활용하는 최초의 커널화된 서포트 텐서 트레인 머신(K-STTM)을 소개한다. 특징 공간에서 TT 구조를 유지하고 각 텐서 모드에 대해 서로 다른 커널 함수를 허용함으로써, K-STTM은 소수의 샘플과 고차원 이미지 분류 작업에서 선형 텐서 방법과 표준 SVM보다 뛰어난 성능을 달성한다. MNIST, CIFAR-10 및 fMRI 데이터셋에서 성능이 뛰어나다.

ABSTRACT

Tensor, a multi-dimensional data structure, has been exploited recently in the machine learning community. Traditional machine learning approaches are vector- or matrix-based, and cannot handle tensorial data directly. In this paper, we propose a tensor train (TT)-based kernel technique for the first time, and apply it to the conventional support vector machine (SVM) for image classification. Specifically, we propose a kernelized support tensor train machine that accepts tensorial input and preserves the intrinsic kernel property. The main contributions are threefold. First, we propose a TT-based feature mapping procedure that maintains the TT structure in the feature space. Second, we demonstrate two ways to construct the TT-based kernel function while considering consistency with the TT inner product and preservation of information. Third, we show that it is possible to apply different kernel functions on different data modes. In principle, our method tensorizes the standard SVM on its input structure and kernel mapping scheme. Extensive experiments are performed on real-world tensor data, which demonstrates the superiority of the proposed scheme under few-sample high-dimensional inputs.

연구 동기 및 목표

• 표준 SVM이 직접적으로 텐서 형식의 데이터를 다루는 데에 한계가 있음을 다루기, 특히 소수 샘플, 고차원 설정에서의 문제를 해결하기 위해.
• 벡터화된 접근 방식의 과적합 및 계산 비효율성을 해결하기 위해 텐서 데이터의 내재된 다중 방향 구조를 활용하기 위해.
• 특징 공간에서 텐서 트레인(TT) 구조를 유지하면서도 커널 일致성과 정보 보존을 유지하는 커널화된 프레임워크를 개발하기 위해.
• 각 텐서 모드에 맞는 다양한 커널 함수를 적용하여 텐서 모드 간의 이질적인 데이터 특성을 포착하기 위해.
• 소수 데이터 환경에서 선형 텐서 학습 모델과 벡터 기반 SVM보다 커널화된 텐서 방법의 우수성을 입증하기 위해.

제안 방법

• 고차원 특징 공간에서 텐서 트레인 구조를 유지하는 TT 기반 특징 매핑을 제안하여 비선형 분류를 가능하게 하기 위해.
• 두 가지 TT 일致성 커널 구성 방법을 설계: 하나는 내적 구조를 유지하고, 다른 하나는 정보 보존을 극대화함.
• 각 텐서 모드에 대해 독립적으로 다양한 커널 함수(RBF, 다항식, 선형 등)를 적용하여 모드별 데이터 특성을 활용하기 위해.
• TT 기반 연산을 사용하여 커널 행렬을 구성함으로써 TT 분해와의 호환성을 확보하고 계산 비용을 감소시키기 위해.
• TT 기반 커널을 서포트 벡터 머신 프레임워크에 통합하여 커널화된 서포트 텐서 트레인 머신(K-STTM)을 구성하기 위해.
• 교차 최적화와 저랭크 TT 근사화를 사용하여 고차원 데이터에 스케일링하면서도 모델 효율성을 유지하기 위해.

실험 결과

연구 질문

• RQ1 텐서 트레인 분해 기반으로 성공적으로 커널화된 학습 프레임워크를 구축할 수 있을까? 이는 다차원 데이터를 다룰 수 있고, 구조적 및 정보적 성질을 유지할 수 있는가?
• RQ2 각 텐서 모드에 서로 다른 커널 함수를 적용하면, 모든 모드에 동일한 커널을 사용하는 것보다 분류 성능이 향상되는가?
• RQ3 소수 샘플, 고차원 조건에서 제안된 K-STTM 방법은 선형 텐서 학습 모델과 표준 SVM에 비해 정확도와 강건성 측면에서 어떻게 비교되는가?
• RQ4 TT 기반 커널 구성은 커널 일치성과 정보 보존을 유지하면서도 비선형 분류를 가능하게 할 수 있는가?
• RQ5 모드별로 다른 커널 선택이 실제 이미지 데이터셋에서 분류 성능에 어떤 영향을 미치는가?

주요 결과

• fMRI 데이터셋에서 K-STTM-Prod는 모든 환자에서 가장 높은 분류 정확도를 기록했으며, SVM, 3D CNN 및 선형 텐서 방법을 모두 능가했다.
• MNIST 데이터셋에서 K-STTM-Prod는 클래스당 단지 100개의 훈련 샘플만으로도 테스트 정확도 98.2%를 달성했으며, 선형 모델과 표준 SVM보다 뚜렷이 뛰어났다.
• CIFAR-10에서 공간 모드에 RBF, 색상 모드에 선형/다항식 커널을 적용하는 방식으로 구성한 설정이, 기본 설정인 RBF-RBF-RBF보다 10개 클래스 조합 중 9개에서 분류 정확도가 향상되었다.
• TT 기반 커널 구성은 정보를 보존하고 TT 내적과의 일치성을 유지하여 안정적이고 효율적인 커널 계산을 가능하게 하였다.
• 기존 방법들인 DuSK와 3D CNN가 고차원성과 부족한 샘플 수로 인해 실패하는 상황에서도 이 방법은 저데이터 환경에서 강건성을 보였다.
• 각 모드에 다른 커널을 적용할 수 있는 능력이 성능 향상에 명백한 기여를 하였으며, 이는 텐서 기반 학습에서 모드별 모델링의 중요성을 입증한다.