[논문 리뷰] Learning Polynomials of Few Relevant Dimensions

Sitan Chen, Raghu Meka|arXiv (Cornell University)|2020. 04. 28.

Advanced X-ray Imaging Techniques참고 문헌 75인용 수 4

한 줄 요약

이 논문은 가우시안 공변수 하에서 영향을 미치는 차원 수가 $ r \ll n $인 낮은 질량 다항식을 학습하기 위한 새로운 알고리즘을 제안한다. 이 알고리즘은 따뜻한 시작을 위해 필터링된 주성분 분석(PCA)과 기하학적 확률적 리만 기울기 하강법을 결합하여 표본 복잡도 $ O_{r,d}(n\log^2(1/\epsilon)(\log n)^d) $ 과 실행 시간 $ O_{r,d}(Nn^2) $ 을 달성하며, $ r $ 이 작을 경우 기존의 $ n^d $ 복잡도에 비해 크게 향상된다.

ABSTRACT

Polynomial regression is a basic primitive in learning and statistics. In its most basic form the goal is to fit a degree $d$ polynomial to a response variable $y$ in terms of an $n$-dimensional input vector $x$. This is extremely well-studied with many applications and has sample and runtime complexity $Θ(n^d)$. Can one achieve better runtime if the intrinsic dimension of the data is much smaller than the ambient dimension $n$? Concretely, we are given samples $(x,y)$ where $y$ is a degree at most $d$ polynomial in an unknown $r$-dimensional projection (the relevant dimensions) of $x$. This can be seen both as a generalization of phase retrieval and as a special case of learning multi-index models where the link function is an unknown low-degree polynomial. Note that without distributional assumptions, this is at least as hard as junta learning. In this work we consider the important case where the covariates are Gaussian. We give an algorithm that learns the polynomial within accuracy $ε$ with sample complexity that is roughly $N = O_{r,d}(n \log^2(1/ε) (\log n)^d)$ and runtime $O_{r,d}(N n^2)$. Prior to our work, no such results were known even for the case of $r=1$. We introduce a new filtered PCA approach to get a warm start for the true subspace and use geodesic SGD to boost to arbitrary accuracy; our techniques may be of independent interest, especially for problems dealing with subspace recovery or analyzing SGD on manifolds.

연구 동기 및 목표

• 입력의 $ r $ 개의 관련 투영에만 의존하는 다항식인 높은 환경 차원 수 $ n $ 이지만 낮은 내재 차원 수 $ r $ 인 다항 회귀 문제에 도전한다.
• 표준 다항 회귀의 $ n^d $ 표본 및 실행 시간 복잡도를 낮은 질량 구조를 활용하여 극복한다.
• 가우시안 공변수 가정 하에 $ n $ 에 대해 거의 선형적이고 $ r $ 과 $ d $ 에 대해 다항적 의존성을 가지는 효율적인 알고리즘을 개발한다.
• 노이즈와 유한 표본이 존재하는 상황에서도 $ \epsilon $-정확도 내에서 숨겨진 부분공간 $ U^* $ 과 링크 다항식 $ p $ 의 정확한 복원을 달성한다.
• 유한 표본과 노이즈 존재 상황에서 부분공간 및 계수 추정의 표본 복잡도, 실행 시간, 수렴에 대한 이론적 보장을 제공한다.

제안 방법

• 데이터 행렬에 대해 잘라낸 특이값 분해를 사용하여 진짜 $ r $ 차원의 숨겨진 부분공간 $ U^* $ 과 유사한 부분공간을 식별함으로써 따뜻한 시작을 위한 필터링된 PCA 접근법을 도입한다.
• 기하학적 확률적 리만 기울기 하강법(GeoSGD)을 리만 부분공간의 기하학적 성질을 활용하여 부분공간 추정치를 개선하고 수렴을 보장한다.
• 두 단계 최적화를 적용한다: 먼저 SubspaceDescent를 통해 부분공간 $ V^{(t)} $ 를 복원하고, 그 다음 현재 부분공간에서 RealignPolynomial을 사용하여 다항식 계수 $ \mathbf{c} $ 를 재추정한다.
• 부분공간 오차를 추적하고 진짜 부분공간으로의 수렴을 보장하기 위해 새로운 프로크루스테스 기반 거리 측도 $ d_P(V, V^*) $ 를 도입한다.
• 마팅게일 집중 부등식과 에르미트 다항식 전개를 사용하여 기울기 추정치의 오차를 통제하고 고확률 수렴 보장을 확보한다.
• 부분공간 정확도에 따라 동적으로 적응하는 종료 조건을 설계하여, 부분공간이 충분히 가까운 경우 더 이상 개선 없이 조기에 알고리즘을 종료한다.

실험 결과

연구 질문

• RQ1 기저 다항식이 $ r \ll n $ 개의 관련 차원에만 의존할 경우, 환경 차원 수 $ n $ 에 대해 표본 및 실행 시간 복잡도가 이차 이하가 되는 다항 회귀가 가능할 수 있는가?
• RQ2 링크 함수에 대한 분포 가정 없이 낮은 차수의 다항식이라는 조건만 충족한다면, 가우시안 공변수 하에서 낮은 질량 다항식의 효율적 학습이 가능한가?
• RQ3 단일 알고리즘 프레임워크를 통해 동시에 숨겨진 부분공간 $ U^* $ 과 링크 다항식 $ p $ 를 고정확도로 복원할 수 있는가?
• RQ4 낮은 질량 다항식 회귀 설정에서 표본 복잡도, 실행 시간, 정확도 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 증명 가능 수렴 보장을 갖는다 하더라도, 기하학적 SGD를 리만 매니폴드 상에서 고차원 데이터의 저차원 부분공간을 효과적으로 복원하는 데 사용할 수 있는가?

주요 결과

• 제안된 알고리즘은 표본 복잡도 $ O_{r,d}(n\log^2(1/\epsilon)(\log n)^d) $ 를 달성하며, 이는 $ n $ 에 대해 다항식이지만 $ n^d $ 와 독립적이어서 기존의 $ n^d $ 복잡도에 비해 크게 향상된다.
• 실행 시간은 $ O_{r,d}(Nn^2) $ 이며, $ N $ 은 표본 복잡도이므로 $ r $ 이 작고 $ d $ 가 중간 수준일 경우 효율적이다.
• 알고리즘이 $ T = \alpha^{-1} \log(1/\epsilon) $ 반복 후 추정된 부분공간 $ V^{(T)} $ 가 $ d_P(V^{(T)}, V^*) \leq \epsilon $ 를 만족함을 보장한다.
• 계수 벡터 $ \mathbf{c} $ 는 $ T $ 반복 후 $ \|\mathbf{c}^{(T)} - \mathbf{c}^*\|_2 \leq \epsilon $ 에 도달하여 정확한 다항식 복원을 보장한다.
• 지역적 부드러움과 리만 최적화 경로의 곡률 분석을 통해 이론적 보장을 확립하였으며, 기울기 추정치에 대한 고확률 집중 구간을 확보하였다.
• 초기화에 대해 강건하다: 초기 부분공간이 $ V^* $ 와 가까운 것이 아니더라도 알고리즘이 선형 속도 $ 1 - \alpha $ 로 진짜 부분공간으로 수렴하며, $ \alpha $ 는 조건 수와 문제 파라미터에 따라 달라진다.