[논문 리뷰] Computationally and Statistically Efficient Truncated Regression

Constantinos Daskalakis, Themis Gouleakis외 2명|arXiv (Cornell University)|2020. 10. 22.

Stochastic Gradient Optimization Techniques인용 수 11

한 줄 요약

이 논문은 제한된 선형 회귀에 대해 계산적이고 통계적으로 효율적인 추정기인 Projected Stochastic Gradient Descent (PSGD)를 사용하여, 관측된 샘플의 음의 로그우도에 대해 무작위로 선택하지 않고 적용한다. 관측된 공변량에 두꺼움 조건이 만족되고, 절단 집합 $S$에 오라클 액세스가 가능할 경우, 이 방법은 $\ell_2$ 오차를 $\tilde{O}(\sqrt{k/n})$로 달성하며, 볼록 콘에서 강력한 볼록성 덕분에 계산 효율성을 확보하면서도 최적의 통계적 비율을 달성한다.

ABSTRACT

We provide a computationally and statistically efficient estimator for the classical problem of truncated linear regression, where the dependent variable $y = w^T x + ε$ and its corresponding vector of covariates $x \in R^k$ are only revealed if the dependent variable falls in some subset $S \subseteq R$; otherwise the existence of the pair $(x, y)$ is hidden. This problem has remained a challenge since the early works of [Tobin 1958, Amemiya 1973, Hausman and Wise 1977], its applications are abundant, and its history dates back even further to the work of Galton, Pearson, Lee, and Fisher. While consistent estimators of the regression coefficients have been identified, the error rates are not well-understood, especially in high dimensions. Under a thickness assumption about the covariance matrix of the covariates in the revealed sample, we provide a computationally efficient estimator for the coefficient vector $w$ from $n$ revealed samples that attains $l_2$ error $ ilde{O}(\sqrt{k/n})$. Our estimator uses Projected Stochastic Gradient Descent (PSGD) without replacement on the negative log-likelihood of the truncated sample. For the statistically efficient estimation we only need oracle access to the set $S$.In order to achieve computational efficiency we need to assume that $S$ is a union of a finite number of intervals but still can be complicated. PSGD without replacement must be restricted to an appropriately defined convex cone to guarantee that the negative log-likelihood is strongly convex, which in turn is established using concentration of matrices on variables with sub-exponential tails. We perform experiments on simulated data to illustrate the accuracy of our estimator. As a corollary, we show that SGD learns the parameters of single-layer neural networks with noisy activation functions.

연구 동기 및 목표

• 제한된 선형 회귀에 대해 계산적으로 효율적이고 통계적으로 최적인 추정기를 개발하는 것.
• 이전 방법들이 통계적 일致성은 보장했지만 계산적 보장이 없었던 장기적인 과제인 제한된 회귀에서의 효율적 추정 문제를 해결하는 것.
• 관측된 데이터의 음의 로그우도에 대해 무작위로 선택하지 않고 Projected SGD를 적용할 경우, 공변량과 절단 집합 $S$에 대한 약간의 가정 하에 최적의 $\ell_2$ 오차 비율을 달성할 수 있음을 입증하는 것.
• 단일 레이어 신경망의 파라미터를 선형 수의 샘플로 증명 가능하게 학습할 수 있도록 프레임워크를 확장하는 것.

제안 방법

• 방법은 관측된 제한된 샘플의 음의 로그우도에 대해 무작위로 선택하지 않고 Projected Stochastic Gradient Descent (PSGD)를 적용하며, 강력한 볼록성을 보장하기 위해 볼록 콘으로 제한한다.
• 강력한 볼록성은 하위지수 꼬리를 가진 랜덤 행렬의 농도에 기반하며, 이는 관측된 공변량의 공분산 행렬에 대한 두꺼움 조건에 의존한다.
• 알고리즘은 절단 집합 $S$에 오라클 액세스를 가정하며, 이는 유한 개의 간격의 임의의 유합일 수 있어 복잡한 절단 패턴을 모델링하는 데에 영향을 미친다.
• 음의 로그우도는 추정된 계수 벡터가 데이터 구조와 절단 집합에서 유도된 볼록 콘 내에 있어야 한다는 제약 조건 하에 최소화된다.
• 방법은 노이즈가 있는 ReLU 활성화를 가진 단일 레이어 신경망 학습으로 확장되며, 이는 노이즈가 있는 ReLU 활성화 문제를 제한된 회귀 과제로 재구성함으로써 가능해진다.
• 이론적 보장은 고확률 농도 경계와 하위지수 랜덤 변수에 대한 행렬 농도 부등식을 사용하여 유도된다.

실험 결과

연구 질문

• RQ1 약간의 가정 하에 제한된 선형 회귀에서 계산적으로 효율적인 알고리즘이 최적의 $\ell_2$ 오차 비율인 $\tilde{O}(\sqrt{k/n})$을 달성할 수 있는가?
• RQ2 제한된 데이터의 음의 로그우도에 대해 무작위로 선택하지 않고 Projected SGD를 볼록 콘으로 제한할 경우, 강력한 볼록성과 수렴 보장을 확보할 수 있는가?
• RQ3 제안된 방법은 선형 수의 샘플로 노이즈가 있는 ReLU 활성화를 가진 단일 레이어 신경망의 파라미터를 증명 가능하게 학습할 수 있는가?
• RQ4 통계적 및 계산적 효율성을 보장하기 위해 절단 집합 $S$와 공변량의 분포에 대해 필요한 최소한의 가정은 무엇인가?

주요 결과

• 공변량에 두꺼움 조건이 만족되고 절단 집합 $S$에 오라클 액세스가 가능할 경우, 제안된 추정기는 $\ell_2$ 오차를 $\tilde{O}(\sqrt{k/n})$로 달성한다.
• 방법은 음의 로그우도에 대해 무작위로 선택하지 않고 Projected SGD를 사용하며, 데이터 구조에서 유도된 볼록 콘에서의 강력한 볼록성 덕분에 수렴 보장이 이루어진다.
• $S$가 $r$개의 부분구간의 유합일 경우, 알고리즘이 다항 시간 내에 실행되어 복잡한 절단 패턴에도 불구하고 계산 효율성이 보장된다.
• 프레임워크를 통해 노이즈가 있는 ReLU 활성화를 가진 단일 레이어 신경망의 학습이 증명 가능해지며, 높은 확률로 오차 한계 $\mathrm{poly}(1/a) \cdot \frac{BC}{b^2} \cdot \sqrt{\frac{k}{n}\log n}$를 달성한다.
• 합성 데이터에 대한 실험 결과, 제안된 방법은 절단으로 인한 편향을 보정하며, 진짜 계수 벡터로 최적의 $1/\sqrt{n}$ 속도로 수렴함을 보였다.
• 특히 OLS가 빠르게 수렴하는 경우에도, 공격적인 절단(예: $y > 4$만 유지) 상황에서 OLS보다 편향 보정 측면에서 더 우수한 성능을 보였다.