[논문 리뷰] On the Regret Minimization of Nonconvex Online Gradient Ascent for Online PCA

Dan Garber|arXiv (Cornell University)|2018. 09. 27.

Sparse and Compressive Sensing Techniques참고 문헌 38인용 수 4

한 줄 요약

이 논문은 비볼록 온라인 경사상승법(Nonconvex-OGA)이 새로운 반적대적 데이터 모델 하에서 하위선형의 손실을 달성할 수 있음을 입증한다. 이 모델은 공분산 행렬의 스펙트럼 갭이 존재하는 확률적 분포를 따르지만, 동시에 적대적으로 훼손된 데이터를 다루며, 온라인 PCA의 적대적 설정에서 성능을 보인다. 이는 따뜻한 초기화 벡터를 사용할 경우에만 성립한다. 이 방법은 선형 메모리와 반복당 선형 런타임을 요구하면서도, 볼록 리프레젠테이션 기반 알고리즘과 유사한 손실 성능을 달성한다.

ABSTRACT

In this paper we focus on the problem of Online Principal Component Analysis in the regret minimization framework. For this problem, all existing regret minimization algorithms for the fully-adversarial setting are based on a positive semidefinite convex relaxation, and hence require quadratic memory and SVD computation (either thin of full) on each iteration, which amounts to at least quadratic runtime per iteration. This is in stark contrast to a corresponding stochastic i.i.d. variant of the problem, which was studied extensively lately, and admits very efficient gradient ascent algorithms that work directly on the natural non-convex formulation of the problem, and hence require only linear memory and linear runtime per iteration. This raises the question: can non-convex online gradient ascent algorithms be shown to minimize regret in online adversarial settings? In this paper we take a step forward towards answering this question. We introduce an extit{adversarially-perturbed spiked-covariance model} in which, each data point is assumed to follow a fixed stochastic distribution with a non-zero spectral gap in the covariance matrix, but is then perturbed with some adversarial vector. This model is a natural extension of a well studied standard stochastic setting that allows for non-stationary (adversarial) patterns to arise in the data and hence, might serve as a significantly better approximation for real-world data-streams. We show that in an interesting regime of parameters, when the non-convex online gradient ascent algorithm is initialized with a "warm-start" vector, it provably minimizes the regret with high probability. We further discuss the possibility of computing such a "warm-start" vector, and also the use of regularization to obtain fast regret rates. Our theoretical findings are supported by empirical experiments on both synthetic and real-world data.

연구 동기 및 목표

• 비볼록 온라인 경사상승법이 적대적 온라인 학습 설정, 특히 온라인 PCA에서 손실을 최소화할 수 있는지 조사한다.
• 완전히 적대적인 온라인 PCA 환경에서 효율적인 비볼록 i.i.d. 알고리즘과 계산 비용이 큰 볼록 리파라미터라이제이션 기반 방법 간의 격차를 메운다.
• 실제 데이터 스트림을 더 잘 반영하기 위해 확률적 구조와 적대적 훼손을 결합한 반적대적 데이터 모델을 제안한다.
• 이 모델 하에서 Nonconvex-OGA가 따뜻한 초기화를 사용할 경우 하위선형 손실을 달성함을 이론적·실증적으로 검증한다.
• 효과적인 따뜻한 초기화 벡터 계산의 가능성과 정규화가 손실률 향상에 기여하는 역할을 탐색한다.

제안 방법

• 적대적으로 훼손된 스파iked-공분산 모델을 도입한다: 데이터 포인트는 공분산 행렬의 비영 스펙트럼 갭을 가지는 고정된 분포를 따르며, 이후 적대적 벡터에 의해 훼손된다.
• Nonconvex-OGA를 제안한다. 이는 온라인 PCA의 비볼록 공식화를 직접 최적화하는 경사상승 알고리즘으로, 데이터 기반으로 단위 벡터 예측기를 경사 스텝을 통해 업데이트한다.
• 기본 분포의 소량의 i.i.d. 샘플로부터 확보된 따뜻한 초기화 벡터를 사용하여 진정한 최상위 고유벡터에 가까운 초기값을 확보한다.
• 업데이트 행렬의 스펙트라헤드론에 대한 투영이 랭크-원을 유지한다는 가정 하에 손실를 분석한다. 이는 모델 하에서 높은 확률로 성립한다.
• 정규화를 도입하여 손실률을 향상시키며, 따뜻한 초기화 조건 하에서 전역 최적해 수렴에 대한 이론적 보장을 제공한다.
• 합성 데이터, MNIST, CIFAR10 데이터셋을 대상으로 실증 평가를 수행하며, Nonconvex-OGA, BR1-OGA, Conv-OGA(미세 SVD로 근사)를 비교하여 시간에 따른 평균 손실을 측정한다.

실험 결과

연구 질문

• RQ1 완전히 적대적인 온라인 PCA 설정에서 비볼록 온라인 경사상승법이 하위선형 손실을 달성할 수 있는가?
• RQ2 Nonconvex-OGA가 따뜻한 초기화를 사용할 경우 어떤 데이터 가정 하에서 손실 최소화를 달성하는가?
• RQ3 손실 및 계산 효율성 측면에서 Nonconvex-OGA는 볼록 리파라미터라이제이션 기반 OGA와 비교해 어떻게 성능을 내는가?
• RQ4 따뜻한 초기화 벡터는 비볼록 온라인 PCA에서 전역 수렴과 손실 최소화를 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 정규화는 이 설정에서 비볼록 온라인 경사상승법의 손실률 향상에 기여할 수 있는가?

주요 결과

• 제안된 반적대적 데이터 모델 하에서 따뜻한 초기화 벡터를 사용할 경우 Nonconvex-OGA는 높은 확률로 하위선형 손실을 달성한다.
• 실증 결과에 따르면 Nonconvex-OGA와 BR1-OGA가 볼록 OGA(미세 SVD로 근사)와 유사한 손실 성능을 보이며, 기준 따뜻한 초기화 벡터보다 유의미하게 뛰어난 성능을 보인다.
• 투영 오류 비율(업데이트 행렬의 투영이 랭크-원이 되지 못하는 경우)은 합성 데이터 6.24%, MNIST 0.26%, CIFAR10 0%로 나타나, 이론적 가정인 랭크-원 투영이 타당함을 뒷받침한다.
• 단지 데이터의 1% (합성), 1% (MNIST), 또는 0.2% (CIFAR10)만을 사용해 계산된 따뜻한 초기화 벡터가 효과적인 손실 최소화를 가능하게 하며 수렴에 충분하다.
• 정규화가 손실률 향상에 기여함을 입증하여, 더 넓은 매개변수 영역에서 더 강력한 이론적 보장을 향한 길을 제시한다.
• 결과적으로 비볼록 온라인 경사상승법이 적대적 온라인 PCA 환경에서 효율적(선형 메모리 및 런타임)이면서도 효과적(낮은 손실)임을 보여주며, 볼록 리파라미터라이제이션의 필요성을 도전한다.