[논문 리뷰] Non-Convex Projected Gradient Descent for Generalized Low-Rank Tensor Regression

Han Chen, Garvesh Raskutti외 1명|arXiv (Cornell University)|2016. 11. 30.

Sparse and Compressive Sensing Techniques인용 수 41

한 줄 요약

이 논문은 일반화된 저질수 텐서 회귀를 위한 비볼록 투영 그래디언트 하강(PGD) 프레임워크를 제안하며, 국소적 가우시안 폭을 통한 이론적 보장을 수립한다. 비볼록 PGD는 저질수 텐서 구조 하에서 볼록 완화 기법보다 우수한 통계적 오차율과 더 빠른 수렴 속도를 달성함을 보이며, 세 가지 텐서 질수 모델인 슬라이스 질수의 합, 희소-저질수 슬라이스, 터커 질수에 대해 증명된 선형 수렴과 향상된 샘플 복잡도를 제공한다.

ABSTRACT

In this paper, we consider the problem of learning high-dimensional tensor regression problems with low-rank structure. One of the core challenges associated with learning high-dimensional models is computation since the underlying optimization problems are often non-convex. While convex relaxations could lead to polynomial-time algorithms they are often slow in practice. On the other hand, limited theoretical guarantees exist for non-convex methods. In this paper we provide a general framework that provides theoretical guarantees for learning high-dimensional tensor regression models under different low-rank structural assumptions using the projected gradient descent algorithm applied to a potentially non-convex constraint set $\\Theta$ in terms of its \\emph{localized Gaussian width}. We juxtapose our theoretical results for non-convex projected gradient descent algorithms with previous results on regularized convex approaches. The two main differences between the convex and non-convex approach are: (i) from a computational perspective whether the non-convex projection operator is computable and whether the projection has desirable contraction properties and (ii) from a statistical upper bound perspective, the non-convex approach has a superior rate for a number of examples. We provide three concrete examples of low-dimensional structure which address these issues and explain the pros and cons for the non-convex and convex approaches. We supplement our theoretical results with simulations which show that, under several common settings of generalized low rank tensor regression, the projected gradient descent approach is superior both in terms of statistical error and run-time provided the step-sizes of the projected descent algorithm are suitably chosen.

연구 동기 및 목표

• 고차원 텐서 회귀에 저질수 구조를 가진 비볼록 최적화 프레임워크를 개발하여 볼록 완화 기법의 계산적 한계를 극복한다.
• 일반적인 저질수 텐서 제약 조건 하에서 비볼록 PGD의 이론적 수렴성과 통계적 오차 한계를 수립한다.
• 비볼록 PGD와 볼록 정규화 방법 간의 통계적 및 계산 성능를 텐서 회귀에서 비교한다.
• 비볼록 투영이 수축 성질과 빠른 수렴을 유도할 수 있는 조건을 체계화한다.
• 세 가지 구체적인 저질수 텐서 모델을 통해 향상된 오차율과 런타임 효율성을 입증한다.

제안 방법

• 방법은 저질수 텐서 구조를 나타내는 비볼록 제약 집합 Θ 위에서 투영 그래디언트 하강을 적용하며, 투영이 수축 성질을 만족시킨다.
• 초등가능한 대칭 콘의 가족과 제어된 수축을 가진 근사 투영을 기반으로 하는 일반적 프레임워크를 도입한다.
• 이론적 리스크 한계는 Θ ∩ B_F(1)의 국소적 가우시안 폭을 기반으로 유도된다. 여기서 B_F(1)는 노름 1인 프로비니우스 노름 공이다.
• 이 프레임워크는 세 가지 텐서 질수 모델에 적용 가능하다: 슬라이스 질수의 합, 희소성과 저질수 슬라이스, 터커 질수.
• 수렴은 재귀적 매트리시제이션과 특이값 임계값 연산자를 사용한 투영 오차의 경계를 통해 증명된다.
• 통계적 오차는 n^{-1/2} w_G[Θ ∩ B_F(1)] 비례하며, 핵노름 정규화를 통해 명시적 상한이 유도된다.

실험 결과

연구 질문

• RQ1 비볼록 투영 그래디언트 하강이 저질수 텐서 회귀에서 볼록 정규화보다 더 우수한 통계적 오차율을 달성할 수 있는가?
• RQ2 비볼록 PGD 알고리즘이 어떤 조건에서 증명 가능한 오차 한계를 가진 선형 수렴을 달성하는가?
• RQ3 고차원 텐서 설정에서 비볼록 PGD의 계산 효율성은 볼록 완화 기법보다 어떻게 비교되는가?
• RQ4 국소적 가우시안 폭은 비볼록 PGD의 텐서 모델에 대한 통계적 오차를 특성화하는 데 어떤 역할을 하는가?
• RQ5 다양한 저질수 텐서 구조(예: 터커 질수, 슬라이스 질수)는 PGD의 수렴성과 오차율에 어떻게 영향을 미치는가?

주요 결과

• 비볼록 PGD 방법은 n^{-1/2} w_G[Θ ∩ B_F(1)] 순서의 통계적 오차율을 달성하며, 이는 텐서 회귀에서 비볼록 PGD에 대한 첫 번째 일반적 상한이다.
• 슬라이스 질수의 합 모델의 경우 오차율은 O(n^{-1/2} √{(s′+s)(r′+r)} √{6(d₁+d₂+log d₃)})로 경계된다.
• 희소-저질수 슬라이스 모델의 경우 오차율은 O(n^{-1/2} √{(r′+r)(s′+s)} √{6(d₁+d₂+log d₃)})로 경계된다.
• 터커 질수 모델의 경우 오차율은 O(n^{-1/2} √{r′+r} √{6 min{d₁+d₂d₃, d₂+d₁d₃, d₃+d₁d₂}})로 경계된다.
• 비볼록 PGD 접근법은 Raskutti와 Yuan(2015)의 정리 1과의 비교를 통해, 상수 요소 이내로 볼록 정규화 기법보다 더 낮은 오차율을 달성한다.
• 시뮬레이션 결과는 스텝 사이즈를 적절히 조정할 경우 비볼록 PGD가 통계적 오차와 런타임 양면에서 볼록 방법을 능가함을 확인한다.