[논문 리뷰] Max-Affine Regression: Provable, Tractable, and Near-Optimal Statistical Estimation

Avishek Ghosh, Ashwin Pananjady외 2명|arXiv (Cornell University)|2019. 06. 21.

Sparse and Compressive Sensing Techniques참고 문헌 82인용 수 12

한 줄 요약

이 논문은 최대 $k$개의 애프린 함수의 최대값으로 표현되는 모델인 최대-애프린 회귀에 대해 증명 가능하게 수렴하는 교대 최소화 알고리즘을 제안한다. 이 모델은 선형 회귀와 위상 복원 문제를 일반화한다. 이 방법은 랜덤 설계 하에서 고차원 설정에서 근사적으로 최적의 통계적 추정 속도(로그 인자까지)를 달성하며, 새로운 스펙트럼 및 랜덤 탐색 초기화 전략을 활용한다.

ABSTRACT

Max-affine regression refers to a model where the unknown regression function is modeled as a maximum of $k$ unknown affine functions for a fixed $k \geq 1$. This generalizes linear regression and (real) phase retrieval, and is closely related to convex regression. Working within a non-asymptotic framework, we study this problem in the high-dimensional setting assuming that $k$ is a fixed constant, and focus on estimation of the unknown coefficients of the affine functions underlying the model. We analyze a natural alternating minimization (AM) algorithm for the non-convex least squares objective when the design is random. We show that the AM algorithm, when initialized suitably, converges with high probability and at a geometric rate to a small ball around the optimal coefficients. In order to initialize the algorithm, we propose and analyze a combination of a spectral method and a random search scheme in a low-dimensional space, which may be of independent interest. The final rate that we obtain is near-parametric and minimax optimal (up to a poly-logarithmic factor) as a function of the dimension, sample size, and noise variance. In that sense, our approach should be viewed as a direct and implementable method of enforcing regularization to alleviate the curse of dimensionality in problems of the convex regression type. As a by-product of our analysis, we also obtain guarantees on a classical algorithm for the phase retrieval problem under considerably weaker assumptions on the design distribution than was previously known. Numerical experiments illustrate the sharpness of our bounds in the various problem parameters.

연구 동기 및 목표

• 최대-애프린 회귀에서 파라미터를 추정하기 위한 계산적으로 효율적이고 통계적으로 최적의 방법을 개발하기 위해.
• 고정된 $k$에 대해 $k$개의 애프린 함수의 최대값으로 구성된 함수 클래스로 제한함으로써 볼록 회귀에서의 차원의 저주를 해결하기 위해.
• 교대 최소화 알고리즘이 진짜 파라미터의 작은 이웃으로 높은 확률로 기하급수적으로 수렴하는 것을 보장하기 위해.
• 낮은 차원 공간에서 스펙트럼 방법과 랜덤 탐색을 조합한 새로운 초기화 전략을 제공하여, 독립적인 관심사가 되는 초기화 성능 향상을 위해.

제안 방법

• 논문은 $k$개의 애프린 함수에 대한 비볼록 최소제곱 문제로 최대-애프린 회귀를 공식화하며, 추정해야 할 매개변수로 $\theta_j^*$ 및 $b_j^*$를 포함한다.
• 다른 매개변수를 고정한 채로 계수 벡터 $\theta_j$와 절편 $b_j$에 대해 반복적으로 최적화하는 교대 최소화(AM) 알고리즘을 제안한다.
• 낮은 차원 부분공간에서의 스펙트럼 방법과 후보 해에 대한 랜덤 탐색을 조합한 새로운 초기화 전략을 도입하여 양호한 시작점을 확보한다.
• 이론적 분석은 델리의 엔트로피 적분을 사용하여 경험 과정을 제어하고, 제어된 메트릭 엔트로피를 가진 함수 클래스 위에서 서브-가우시안 과정의 상한을 유도한다.
• 랜덤 설계 가정 하에 기하급수적 수렴 속도를 확보하며, 높은 확률로 수렴한다.
• 최종 속도를 유도하기 위해 추정 오차 $\delta$를 포함하는 핵심 부등식을 유도하여 통계적 오차와 근사 오차를 균형 잡는다.

실험 결과

연구 질문

• RQ1 고차원, 랜덤 설계 설정 하에서 최대-애프린 회귀에서 교대 최소화 알고리즘이 기하급수적으로 진짜 파라미터로 수렴할 수 있는가?
• RQ2 고정된 $k$와 증가하는 $d$에 대해 최대-애프린 회귀의 최적 통계적 추정 속도는 무엇인가?
• RQ3 비볼록 최대-애프린 회귀에서 증명 가능하게 효과적인 초기화를 어떻게 구성할 수 있는가? (비볼록성의 부재를 고려하여)
• RQ4 제안된 방법이 이 모델 클래스에서 최소-최대 최적성(로그 인자까지)을 달성하는가?
• RQ5 분석을 더 약한 설계 가정 하에 위상 복원 문제에 대해 더 강력한 보장을 제공하도록 확장할 수 있는가?

주요 결과

• 적절하게 초기화된 경우, 교대 최소화 알고리즘이 높은 확률로 진짜 파라미터의 작은 이웃으로 기하급수적으로 수렴한다.
• 스펙트럼 방법과 랜덤 탐색을 통한 제안된 초기화 전략은 최적의 초기화 오차의 상수 배수 이내의 오차를 달성하여 빠른 수렴을 가능하게 한다.
• 최종 추정 오차 속도는 $O\left(\frac{kd(\log k)(\log n)}{n} + \frac{\|\varrho\|^2}{n}\right)$이며, $n$에 대해 다항로그 인자까지 최소-최대 최적이다.
• 이 방법은 근사적으로 파rametric 속도를 달성하여, 구조화된 함수 클래스를 도입함으로써 볼록 회귀의 차원의 저주를 효과적으로 완화한다.
• 분석은 이전에 알려진 것보다 훨씬 더 약한 설계 분포 가정 하에 위상 복원 문제에 대해 향상된 보장을 제공한다.
• 수치 실험을 통해 다양한 표본 크기, 차원, 노이즈 수준에서 이론적 경계가 날카롭다는 것이 확인되었다.