[논문 리뷰] Parallelized Tensor Train Learning For Polynomial Pattern Classification

Zhongming Chen, Kim Batselier외 2명|arXiv (Cornell University)|2016. 12. 20.

Tensor decomposition and applications인용 수 1

한 줄 요약

이 논문은 다변수 다항식을 효율적으로 표현함으로써 고차원 패턴 분류에서 차원의 극복을 위한 텐서 트레이스 기반 다항식 분류기를 제안한다. 저복잡도 최적화와 병렬 처리를 통해 USPS 및 MNIST에서 높은 정확도를 달성하며, 확장 가능한 학습을 실현함으로써 복잡한 결정 경계 학습에서 효율성과 효과성을 동시에 입증한다.

ABSTRACT

In pattern classification, polynomial classifiers are well-studied methods as they are capable of generating complex decision surfaces. Unfortunately, the use of multivariate polynomials is limited to kernels as in support vector machines, because polynomials quickly become impractical for high-dimensional problems. In this paper, we effectively overcome the curse of dimensionality by employing the tensor train format to represent a polynomial classifier. Based on the structure of tensor trains, two learning algorithms are proposed which involve solving different optimization problems of low computational complexity. Furthermore, we show how both regularization to prevent overfitting and parallelization, which enables the use of large training sets, are incorporated into these methods. Both the efficiency and efficacy of our tensor-based polynomial classifier are then demonstrated on the two popular datasets USPS and MNIST.

연구 동기 및 목표

• 고차원 데이터에서 다변수 다항식 분류기의 계산 비용 증가 문제를 해결하기 위해 차원의 극복 문제를 해결한다.
• 표현력은 유지하면서 계산 비용을 줄이는 다항식 결정 경계의 표현력을 유지하는 확장 가능한 학습 프레임워크를 개발한다.
• 일반화 성능 향상과 대규모 데이터셋에서의 학습을 위해 정규화 및 병렬 처리를 학습 과정에 통합한다.

제안 방법

• 고차원 텐서를 저차원 코어의 시퀀스로 분해함으로써 매개변수 수를 크게 줄이는 텐서 트레이스(TT) 형식을 사용해 다항식 분류기를 표현한다.
• TT 구조에 기반한 두 가지 서로 다른 최적화 문제를 설정함으로써 고차원 데이터에 적합한 저복잡도 학습 알고리즘을 가능하게 한다.
• 과적합을 방지하고 일반화 성능을 향상시키기 위해 TT 기반 최적화에 정규화 기법을 통합한다.
• 다수의 프로세서에 걸쳐 계산을 분산시켜 학습 과정을 병렬화함으로써 대규모 학습 세트를 지원한다.
• 텐서 트레이스의 저랭크 구조를 활용해 계산 오버헤드를 최소화하면서도 모델의 표현력을 유지한다.

실험 결과

연구 질문

• RQ1 텐서 트레이스 형식은 고차원 패턴 분류 작업에서 다항식 분류기를 효과적으로 표현할 수 있는가?
• RQ2 텐서 트레이스 형식 내 최적화 문제를 어떻게 설계하여 저복잡도를 확보할 수 있는가?
• RQ3 정규화와 병렬 처리를 TT 기반 학습에 얼마나 효과적으로 통합할 수 있으며, 이로 인해 모델 정확도가 손상되지 않는가?
• RQ4 실제 데이터셋에서 기존 다항식 분류기와 비교해 본다면, 제안된 방법은 확장성과 성능 측면에서 어떤가?

주요 결과

• 텐서 트레이스 기반 다항식 분류기는 MNIST 및 USPS 데이터셋에서 높은 정확도를 달성하여 고차원 환경에서도 뛰어난 성능을 보였다.
• 효과적인 병렬 처리 덕분에 확장 가능한 학습이 가능해져 대규모 학습 세트 사용이 실현 가능해졌다.
• 정규화가 학습 과정에 성공적으로 통합되어 과적합이 감소하고 일반화 성능이 향상되었다.
• 기존의 표준 다항식 분류기 대비 매개변수 수를 크게 줄여 차원의 극복 문제를 효과적으로 완화했다.