[논문 리뷰] Tensor Train polynomial models via Riemannian optimization

Alexander Novikov, Mikhail Trofimov외 1명|arXiv (Cornell University)|2016. 05. 12.

Tensor decomposition and applications참고 문헌 26인용 수 23

한 줄 요약

이 논문은 지수 마シン(ExM)을 소개한다. ExM은 텐서 트레이스(TT) 형식을 사용하여 지수적으로 큰 매개변수 텐서를 압축함으로써 모든 차수의 특성 상호작용을 캡처하는 텐서 기반 모델이다. 확률적 리만 최적화를 활용함으로써 ExM은 최대 2^30개의 매개변수를 가진 고차수 상호작용 모델을 효율적으로 학습하며, 복잡한 상호작용을 가진 합성 데이터에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Modeling interactions between features improves the performance of machine learning solutions in many domains (e.g. recommender systems or sentiment analysis). In this paper, we introduce Exponential Machines (ExM), a predictor that models all interactions of every order. The key idea is to represent an exponentially large tensor of parameters in a factorized format called Tensor Train (TT). The Tensor Train format regularizes the model and lets you control the number of underlying parameters. To train the model, we develop a stochastic version of Riemannian optimization, which allows us to fit tensors with $2^{30}$ entries. We show that the model achieves state-of-the-art performance on synthetic data with high-order interactions.

연구 동기 및 목표

• 기계 학습에서 고차수 특성 상호작용을 모델링하는 데 도전하는 것. 이는 추천 시스템 및 감성 분석과 같은 과업에 핵심적이다.
• 전체 상호작용 모델의 계산 및 매개변수 복잡성을 줄이는 것. 이는 특성 차원이 증가함에 따라 지수적으로 증가하기 때문이다.
• 수십억 개의 매개변수를 가진 대규모 텐서 구조 모델을 학습할 수 있는 확장 가능한 최적화 프레임워크를 개발하는 것.
• 알려진 고차수 상호작용 구조를 가진 합성 데이터에서 제안된 방법의 효과성을 입증하는 것.

제안 방법

• 모델은 모든 특성 상호작용을 텐서 트레이스(TT) 형식의 매개변수 텐서로 표현하며, 이는 고차원 텐서를 저질서 분해된 구성 요소의 시퀀스로 분해한다.
• TT 형식은 모델 자체적으로 정규화 기능을 제공하며, 랭크 선택을 통해 매개변수 수를 제어할 수 있다.
• TT 매개변수를 학습하기 위해 확률적 리만 최적화가 사용되며, 이는 매개변수 공간의 다양체 구조를 유지한다.
• 최적화 프레임워크는 대규모 텐서에서 효율적인 업데이트를 지원하여 최대 2^30개의 항목을 가진 모델 학습이 가능하다.
• 이 방법은 리만 기하학을 활용하여 확률적 업데이트 중 매개변수의 일관성을 유지함으로써 수렴성과 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 계산 비용이 금지적인 수준이 되지 않도록, 매개변수 효율적인 모델이 모든 차수의 특성 상호작용을 포괄적으로 캡처할 수 있는가?
• RQ2 텐서 트레이스 형식은 고차수 상호작용 모델의 정규화에 얼마나 효과적인가, 동시에 예측 성능를 유지할 수 있는가?
• RQ3 확률적 리만 최적화는 수십억 개의 매개변수를 가진 모델을 실현 가능한 방식으로 확장하여 학습할 수 있는가?
• RQ4 제안된 ExM 모델은 알려진 고차수 상호작용을 가진 합성 데이터에서 기존 방법보다 우수한 성능을 보일 수 있는가?

주요 결과

• 지수 마신 모델은 고차수 특성 상호작용을 가진 합성 데이터셋에서 최신 기술 수준의 성능를 달성한다.
• 모델은 확률적 리만 최적화 프레임워크를 사용하여 최대 2^30개의 항목을 가진 텐서를 성공적으로 학습한다.
• 텐서 트레이스 형식은 효과적인 정규화를 가능하게 하여, 높은 표현력을 지닌 모델임에도 불구하고 과적합을 방지한다.
• 제안된 최적화 방법은 대규모 상호작용 모델로 효율적으로 확장되며, 실용적인 타당성을 입증한다.