[논문 리뷰] Tensor machines for learning target-specific polynomial features

Jiyan Yang, Alex Gittens|arXiv (Cornell University)|2015. 04. 07.

Tensor decomposition and applications참고 문헌 19인용 수 7

한 줄 요약

이 논문은 커널 유도 다항식의 저질서 텐서 분해를 최적화함으로써 목표 함수에 특화된 다항식 특징을 학습하는 방법인 텐서 머신(Tensor Machines, TMs)을 소개한다. 랜덤 특징 매핑과는 달리, TMs는 정보가 풍부한 특징을 적응적으로 선택하여 실제 데이터셋에서 훨씬 적은 파라미터와 더 빠른 학습 시간으로 뛰어난 정확도를 달성한다.

ABSTRACT

Recent years have demonstrated that using random feature maps can significantly decrease the training and testing times of kernel-based algorithms without significantly lowering their accuracy. Regrettably, because random features are target-agnostic, typically thousands of such features are necessary to achieve acceptable accuracies. In this work, we consider the problem of learning a small number of explicit polynomial features. Our approach, named Tensor Machines, finds a parsimonious set of features by optimizing over the hypothesis class introduced by Kar and Karnick for random feature maps in a target-specific manner. Exploiting a natural connection between polynomials and tensors, we provide bounds on the generalization error of Tensor Machines. Empirically, Tensor Machines behave favorably on several real-world datasets compared to other state-of-the-art techniques for learning polynomial features, and deliver significantly more parsimonious models.

연구 동기 및 목표

• 적절한 정확도를 확보하기 위해 수천 개의 특징이 필요한 목표 무관(random feature maps)의 비효율성을 해결한다.
• 목표 함수에 맞게 조정된 소규모이고 명시적인 다항식 특징의 집합을 학습하는 방법을 개발한다.
• 다항식 커널을 효율적으로 표현하기 위해 저질서 텐서 분해 기반의 가설 클래스를 제안한다.
• 기존의 랜덤 특징 및 커널 방법과 비교해 더 나은 일반화 성능과 계산 효율성을 달성한다.

제안 방법

• 다항식과 텐서 간의 관계를 활용하여 다항식 특징을 저질서 텐서 분해로 모델링한다.
• 카르와 카르니크의 랜덤 특징 프레임워크에서 유도된 제한된 가설 클래스를 사용하지만, 목표 함수에 특화된 방식으로 최적화한다.
• 목표 다항식에 해당하는 은닉 텐서의 저질서 근사값을 학습하기 위해 정규화된 최적화를 수행한다.
• 확장 가능한 학습을 위해 두 가지 솔버를 구현한다: TM-Batch(배치 최적화)와 TM-SFO(스토하스틱 1차 최적화).
• 학습 목표를 저질서 텐서 분해 기반의 정규화된 경험 위험 최소화 문제로 공식화한다.
• 차수 q인 텐서 머신의 경우 반복당 계산 비용을 O(ndq²r_TM)로 보장하여 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 목표 함수에 특화된 특징 선택 기법이 목표 무관 랜덤 특징 매핑보다 모델의 단순성과 정확도 측면에서 뛰어나지 않는가?
• RQ2 저질서 텐서 가설 클래스를 최적화함으로써 랜덤 특징 매핑보다 더 낮은 일반화 오차 한계를 달성할 수 있는가?
• RQ3 랭크 매개변수 r이 텐서 머신의 테스트 오차와 수렴에 어떤 영향을 미치는가?
• RQ4 스토하스틱 최적화를 통해 텐서 머신이 대규모이고 메모리에 올라오지 않는 데이터셋에 효율적으로 스케일업할 수 있는가?
• RQ5 CRAFTMaps와 커널 리지 회귀와 같은 최신 기법들과 비교해 텐서 머신의 시간-정확도 트레이드오프는 어떠한가?

주요 결과

• 모든 데이터셋에서 텐서 머신은 최대 72d의 파라미터만 필요로 하여 CRAFTMaps의 400d 이상 또는 더 많은 파라미터보다 훨씬 적었고, 오차는 더 낮았다.
• 모든 데이터셋에서 TM 솔버는 각 차수당 r=5 이내의 랭크-1 특징만 사용하여 높은 모델 단순성(모델 파라미터 수가 적음)을 입증했다.
• Census 데이터셋(q=2)에서 테스트 오차는 r≥3에서 정체되었으며, 이는 중간 정도의 랭크를 초과하면 수익 감소 효과가 나타남을 시사한다.
• Slice 데이터셋(q=5)에서 TMs는 KRR보다 거의 2배 낮은 오차를 기록했고, TM-SFO는 뛰어난 확장성을 보였다.
• TM-SFO의 학습 시간은 데이터셋 크기와 거의 선형적으로 증가했지만, CRAFTMaps의 학습 시간은 초선형적으로 증가했다.
• TM-SFO의 테스트 오차는 50만 개의 학습 포인트까지 계속 감소했고, CRAFTMaps의 오차는 조기에 포화 상태에 이르렀다. 이는 적응적 이점이 있음을 보여준다.