[논문 리뷰] An algorithm for online tensor prediction

John Pothier, Josh Girson외 1명|arXiv (Cornell University)|2015. 07. 28.

Tensor decomposition and applications참고 문헌 13인용 수 3

한 줄 요약

이 논문은 텐서-특이분해(tensor-SVD)와 본-뉘이만 산란도(von Neumann divergence) 일반화를 기반으로 한 텐서 지수 경사 하강법을 사용하는 온라인 텐서 예측 알고리즘을 제안하며, 순차적이고 비적응적인 관측 조건 하에서 3차원 텐서 완성에 대해 증명 가능한 손실 한계를 달성한다. 이 방법은 이론적 성능 보장을 갖는 저질서 텐서 학습을 가능하게 하며, 합성 사회망 평가 데이터에서 기존의 온라인 볼록 텐서 완성 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We present a new method for online prediction and learning of tensors ($N$-way arrays, $N >2$) from sequential measurements. We focus on the specific case of 3-D tensors and exploit a recently developed framework of structured tensor decompositions proposed in [1]. In this framework it is possible to treat 3-D tensors as linear operators and appropriately generalize notions of rank and positive definiteness to tensors in a natural way. Using these notions we propose a generalization of the matrix exponentiated gradient descent algorithm [2] to a tensor exponentiated gradient descent algorithm using an extension of the notion of von-Neumann divergence to tensors. Then following a similar construction as in [3], we exploit this algorithm to propose an online algorithm for learning and prediction of tensors with provable regret guarantees. Simulations results are presented on semi-synthetic data sets of ratings evolving in time under local influence over a social network. The result indicate superior performance compared to other (online) convex tensor completion methods.

연구 동기 및 목표

• 순차적이고 비적응적인 측정값으로부터 3차원 텐서의 온라인 예측을 성능 보장과 함께 다루기.
• 구조적 텐서 분해와 일반화된 산란도 개념을 사용하여 행렬 지수 경사 하강법을 텐서로 확장하기.
• 유계 리프시츠 연속성 조건을 만족하는 볼록 손실 함수 하에서 저질서 텐서의 온라인 학습을 위한 프레임워크 제공하기.
• 텐서-특이분해(tensor-SVD)와 블록 대각 행렬 표현을 사용하여 온라인 텐서 예측의 이론적 손실 한계 설정하기.
• 기존의 온라인 볼록 텐서 완성 방법과 비교하여 반구조적 사회망 평가 데이터에서 뛰어난 성능을 보여주기.

제안 방법

• 텐서-특이분해(tensor-SVD)와 블록 대각 행렬 표현을 사용하여 행렬 지수 경사 하강법을 텐서로 일반화함으로써 텐서 지수 경사 하강법(TEG) 알고리즘을 제안한다.
• 텐서-특이분해 틀에서 텐서 전용 본-뉘이만 산란도를 정의하여 텐서 공간에서의 볼록 최적화를 가능하게 한다.
• 각 텐서를 순환군 위의 군-링에서의 선형 연산자로 표현함으로써 구조적 저질서 근사가 가능해진다.
• 손실 함수의 선형 근사를 사용하여 손실 한계를 유도함으로써 비선형 온라인 텐서 문제를 선형 문제로 환원한다.
• 코로나리아 VII.1을 적용하여 손실 연산자의 제곱의 트레이스와 텐서 랭크 파라미터에 의존하는 손실 한계를 유도한다.
• 시간과 텐서 복잡성 파라미터의 역제곱근에 기반한 스텝 사이즈 규칙을 사용하여 손실을 최소화한다.

실험 결과

연구 질문

• RQ1 순차적이고 비적응적인 관측 조건 하에서 수렴이 보장되는 온라인 알고리즘을 텐서 예측에 대해 설계할 수 있는가?
• RQ2 구조적 텐서 분해를 사용하여 행렬 지수 경사 하강법을 텐서로 일반화할 수 있는가?
• RQ3 최적화 목적을 위해 3차원 텐서에 대해 본-뉘이만 산란도와 랭크의 적절한 일반화는 무엇인가?
• RQ4 온라인 텐서 예측의 손실 한계를 텐서 랭크와 손실 함수 성질에 따라 유계로 만들 수 있는가?
• RQ5 실제로 제안된 방법은 기존의 온라인 볼록 텐서 완성 기법과 비교하여 어떻게 성능이 뛰어나게 되는가?

주요 결과

• 제안된 온라인 텐서 지수 경사 하강(OTEG) 알고리즘은 $ 2G\big(T\beta(k)\big)^{1/2} $ 의 손실 한계를 달성한다. 여기서 $ G $ 는 기울기의 상한이고 $ T $ 는 시간이다.
• 손실 한계는 시간의 제곱근과 텐서 랭크 및 손실 복잡성 파라미터의 곱에 비례하며, 이는 비선형 성장임을 시사한다.
• 지역적 영향 패턴을 가진 반구조적 사회망 평가 데이터에서 다른 온라인 볼록 텐서 완성 방법보다 성능이 뛰어나다.
• 조건 $ \eta \|\text{blkdiag}(\widehat{\bm{\mathscr{L}}}_t)\| \leq 1 $ 하에서 이론적 보장이 성립하며, 이 조건은 충분히 큰 $ T $ 에서 만족된다.
• 작은 $ T $ 에서도 손실은 $ 2GT $ 로 유계이므로, $ \|\beta\|_1 \geq 1 $ 정규화 덕분에 유도된 한계 내에 유지된다.
• 이 방법은 텐서-특이분해를 활용하여 텐서를 군-링 위의 선형 연산자로 표현함으로써 효율적이고 구조적인 저질서 학습을 가능하게 한다.