[논문 리뷰] Online nonnegative CP-dictionary learning for Markovian data

Hanbaek Lyu, Christopher Strohmeier외 1명|arXiv (Cornell University)|2020. 09. 16.

Tensor decomposition and applications인용 수 14

한 줄 요약

이 논문은 마르코프성 가정 하에 스트리밍 텐서 데이터를 위한 온라인 비음수 CP-디크셔너리 학습 알고리즘을 제안하며, 비일관성 또는 희박성 가정 없이 목적 함수의 정적점으로의 수렴을 보장한다. 이 방법은 표준 비음수 텐서 분해보다 더 빠른 수렴을 달성하고, 입력 데이터 모드의 유연한 재구성으로 인해 텐서 구조를 활용해 질적으로 다른 CP-디크셔너리를 학습할 수 있다.

ABSTRACT

Online Tensor Factorization (OTF) is a fundamental tool in learning low-dimensional interpretable features from streaming multi-modal data. While various algorithmic and theoretical aspects of OTF have been investigated recently, a general convergence guarantee to stationary points of the objective function without any incoherence or sparsity assumptions is still lacking even for the i.i.d. case. In this work, we introduce a novel algorithm that learns a CANDECOMP/PARAFAC (CP) basis from a given stream of tensor-valued data under general constraints, including nonnegativity constraints that induce interpretability of the learned CP basis. We prove that our algorithm converges almost surely to the set of stationary points of the objective function under the hypothesis that the sequence of data tensors is generated by an underlying Markov chain. Our setting covers the classical i.i.d. case as well as a wide range of application contexts including data streams generated by independent or MCMC sampling. Our result closes a gap between OTF and Online Matrix Factorization in global convergence analysis \commHL{for CP-decompositions}. Experimentally, we show that our algorithm converges much faster than standard algorithms for nonnegative tensor factorization tasks on both synthetic and real-world data. Also, we demonstrate the utility of our algorithm on a diverse set of examples from image, video, and time-series data, illustrating how one may learn qualitatively different CP-dictionaries from the same tensor data by exploiting the tensor structure in multiple ways.

연구 동기 및 목표

• 스트리밍 텐서 데이터로부터 해석 가능한 비음수 CP-디크셔너리를 학습하기 위한 온라인 알고리즘을 개발하는 것.
• 마르코프성 데이터 가정 하에 목적 함수의 정적점으로 거의 확실히 수렴하는 것을 확립하는 것.
• 온라인 행렬 분해와 온라인 텐서 분해 간의 전역 수렴 분석 간 격차를 메우기 위한 것.
• CP 분해를 통해 다양한 구조적 패턴을 추출할 수 있도록 텐서 모드의 임의의 재구성을 허용함으로써 다중 모odal 데이터의 민첩한 모델링을 가능하게 하는 것.
• 합성 및 실제 영상, 영상, 시계열 데이터에서 뛰어난 수렴 속도와 유용성을 입증하는 것.

제안 방법

• 알고리즘은 스트리밍 비음수 텐서 값 데이터 시퀀스에 대해 확률적 경사 하강법을 사용하여 CP-디크셔너리를 점진적으로 갱신한다.
• 학습된 랭크-1 텐서 원소의 해석 가능성 보장을 위해 모든 인자 행렬에 비음수 제약 조건을 적용한다.
• 데이터 텐서가 마르코프 체인을 따른다고 가정하며, 이는 i.i.d. 경우를 일반화하고 MCMC 및 독립 샘플링을 포함한다.
• 입력 텐서 모드의 임의의 재구성을 통해 (예: 시간과 측정값 또는 도시와 시간을 조합) CP 분해를 통해 모델링할 구조적 의존성을 제어할 수 있다.
• 수렴을 보장하기 위해 감소하는 스텝 사이즈 규칙을 사용하며, 업데이트를 순환적 또는 무작위 방식으로 모든 인자 행렬에 적용한다.
• 이론적 분석을 통해 마르코프 체인에 대한 미약한 조건 하에 목적 함수의 정적점 집합으로 거의 확실히 수렴하는 것을 증명한다.

실험 결과

연구 질문

• RQ1 비일관성 또는 희박성 가정 없이 일반적인 데이터 가정 하에 온라인 비음수 CP-디크셔너리 학습이 수렴 가능하게 할 수 있는가?
• RQ2 스트리밍 데이터에서 표준 비음수 텐서 분해보다 알고리즘이 수렴 속도 측면에서 어떻게 성능을 내는가?
• RQ3 CP-디크셔너리 학습 이전에 텐서 모드를 재정렬하거나 재구성함으로써 다중 모달 데이터의 다양한 구조적 패턴을 얼마나 잘 포착할 수 있는가?
• RQ4 데이터 스트림이 i.i.d. 샘플링이 아닌 마르코프 과정에 의해 생성될 경우에도 알고리즘이 수렴 보장을 유지하는가?
• RQ5 동일한 데이터가 텐서를 학습하기 전에 어떻게 재구성하느냐에 따라 질적으로 다른 해석 가능한 CP-디크셔너리가 얻어질 수 있는가?

주요 결과

• 제안된 알고리즘은 데이터 텐서가 마르코프 체인에 의해 생성된다는 가정 하에 목적 함수의 정적점 집합으로 거의 확실히 수렴한다.
• 알고리즘은 합성 및 실제 데이터 세트에서 표준 비음수 텐서 분해 알고리즘보다 유의미하게 더 빠른 수렴 속도를 보인다.
• 학습 이전에 입력 텐서를 재구성함으로써 질적으로 다른 CP-디크셔너리를 추출할 수 있다: 하나는 시간과 공간 패턴의 결합을 포착하고, 다른 하나는 측정값 별 동역학을 포착하며, 또 다른 하나는 도시 별 시간적 변화를 포착한다.
• 이 방법은 기상 데이터에서 서로 다른 재구성 전략이 도시와 측정값 간 24시간 기상 변화의 다양한 표현을 제공함으로써 이해 가능한 CP-디크셔너리 원소를 성공적으로 학습한다.
• 알고리즘은 i.i.d. 경우를 일반화하며, MCMC 샘플링 및 독립 샘플링을 포함한 다양한 데이터 생성 과정에 적용 가능하며 추가 가정 없이 적용 가능하다.
• 이론적 결과는 온라인 행렬 분해와 온라인 텐서 분해 간의 CP 분해에 대한 수렴 분석에서 핵심적인 격차를 메운다.