[논문 리뷰] A Solution for Large Scale Nonlinear Regression with High Rank and Degree at Constant Memory Complexity via Latent Tensor Reconstruction

Sándor Szedmák, Anna Cichońska외 3명|arXiv (Cornell University)|2020. 05. 04.

Tensor decomposition and applications참고 문헌 31인용 수 4

한 줄 요약

이 논문은 고차수 다항식과 고랭크 텐서를 갖는 대규모 비선형 회귀 문제를 위한 잠재 텐서 재구성(LTR) 방법을 제안한다. 이 방법은 단일 성분의 점진적, 기울기 기반 학습을 통해 일정한 메모리 복잡도를 달성한다. 이 접근법은 선형 시간 복잡도와 최신 기술인 FM 및 KRR보다 뛰어난 정확도를 갖는 복잡한 비선형 함수의 효율적이고 확장 가능한 학습을 가능하게 한다.

ABSTRACT

This paper proposes a novel method for learning highly nonlinear, multivariate functions from examples. Our method takes advantage of the property that continuous functions can be approximated by polynomials, which in turn are representable by tensors. Hence the function learning problem is transformed into a tensor reconstruction problem, an inverse problem of the tensor decomposition. Our method incrementally builds up the unknown tensor from rank-one terms, which lets us control the complexity of the learned model and reduce the chance of overfitting. For learning the models, we present an efficient gradient-based algorithm that can be implemented in linear time in the sample size, order, rank of the tensor and the dimension of the input. In addition to regression, we present extensions to classification, multi-view learning and vector-valued output as well as a multi-layered formulation. The method can work in an online fashion via processing mini-batches of the data with constant memory complexity. Consequently, it can fit into systems equipped only with limited resources such as embedded systems or mobile phones. Our experiments demonstrate a favorable accuracy and running time compared to competing methods.

연구 동기 및 목표

• 고차수 및 고랭크를 갖는 대규모 데이터셋에서 매우 비선형적이고 다변량 함수를 학습하는 문제에 대응한다.
• 기존 텐서 기반 방법의 메모리 및 계산 병목 현상을 해결하기 위해 학습 중 일정한 메모리 복잡도를 유지한다.
• 리소스 제약이 있는 환경(예: 모바일 기기 또는 임베디드 시스템)에 적합한 미니배치 처리를 통한 효율적이고 온라인 학습을 가능하게 한다.
• FM에서처럼 대칭 인수분해에 국한되지 않고 일반적인 비대칭 비선형 함수로 다항 모델의 적용 범위를 확장한다.
• 합성 및 실세계 데이터셋 모두에서 강력한 성능을 보이며, 다중라벨 이미지 애너테이션 작업을 포함한다.

제안 방법

• 연속 함수는 다항식으로 근사될 수 있음을 활용하여 비선형 함수 학습 문제를 텐서 재구성 문제로 재정의한다.
• 각 $ \ell_d^{(t)} $가 선형 형식인 선형 표현을 통한 랭크-일치 텐서 인수분해를 통해 다항식을 표현한다: $ f(\mathbf{x}) = \sum_{t=1}^{n_t} \prod_{d=1}^{n_d} \ell_d^{(t)}(\mathbf{x}) $.
• 샘플 크기, 차수, 랭크, 입력 차원에 대해 선형 시간 복잡도를 보장하기 위해 점진적으로 텐서 성분을 기울기 기반 최적화 알고리즘으로 학습한다.
• 미니배치 방식으로 구현하여 일정한 메모리 복잡도를 유지하고, 온라인 및 확장 가능한 학습을 가능하게 한다.
• 적절한 손실 함수와 텐서 구조를 통해 분류, 다중시각 학습, 벡터값 출력으로의 프레임워크 확장.
• 딥 뉴럴 네트워크와 유사한 계층적 비선형 상호작용을 모델링하기 위해 다층 구조를 통합한다.

실험 결과

연구 질문

• RQ1 대규모 데이터에서 고차수, 고랭크 비선형 함수를 학습하면서도 일정한 메모리 복잡도를 달성할 수 있는 텐서 기반 방법이 가능한가?
• RQ2 제안된 잠재 텐서 재구성 방법은 Factorization Machines 및 Kernel Ridge Regression와 같은 기존 방법과 비교해 정확도와 효율성 면에서 어떻게 성능을 내는가?
• RQ3 1,000만 개 이상의 샘플을 포함하는 데이터셋에 대해 다항식 차수에 대해 선형 시간 복잡도를 유지하면서 어떻게 확장 가능한가?
• RQ4 비대칭적이고 복잡한 비선형 함수에 대해, 대칭 다항식 모델(FM 등)보다 성능이 뛰어나게 되는가?
• RQ5 실세계의 고희박도 다중라벨 예측 작업(예: 이미지 애너테이션)에 효과적으로 적용될 수 있는가?

주요 결과

• 고노이즈 수준, 고차수 다항식, 변수 수가 많은 합성 데이터에서 LTR는 Factorization Machines(FM) 및 TFFM보다 유의미하게 높은 예측 정확도를 달성한다.
• 작은 데이터셋(5,000개 샘플)에서는 LTR와 TFFM가 KRR보다 성능이 열 劣하나, LTR는 더 큰 데이터셋에서 더 뛰어난 확장성을 유지한다.
• 실험 결과, LTR는 다항식 차수에 대해 선형 시간 복잡도를 보이며, 최대 1,000만 개 샘플의 실험에서 KRR보다 뛰어난 성능을 보였다. KRR는 상당히 높은 시간 복잡도를 보였다.
• 실세계 다중라벨 이미지 데이터셋(Corel5k, Espgame, Iaprtc12)에서 LTR는 각각 F1 점수 42.7%, 27.2%, 37.0%를 기록하여 MBRM, TagProp, FastTag와 같은 이전 방법들을 능가했다.
• 학습 중 일정한 메모리 복잡도를 유지하여, 모바일 기기나 임베디드 시스템과 같은 자원 제약이 있는 시스템에의 배포를 가능하게 한다.
• LTR 알고리즘은 경쟁적인 학습 시간을 기록하며, 다항식 차수에 대해 선형적으로 실행 시간이 증가한다. 10^7개 샘플의 규모에서도 KRR와 달리 낮은 성능 저하를 보였다.