[논문 리뷰] Truncated Linear Regression in High Dimensions

Constantinos Daskalakis, Dhruv Rohatgi외 1명|arXiv (Cornell University)|2020. 07. 29.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 높은 차원에서의 절단된 선형 회귀를 위한 계산적이고 통계적으로 효율적인 방법을 제안한다. 이는 절단된 LASSO 설정에서 확률적 경사 하강법(SGD)을 사용하며, k-희소인 n차원 벡터 x*를 복원할 때 최적의 ℓ₂ 재구성 오차 O(√(k log n)/m)를 달성한다. 절단 집합과 설계 행렬에 대한 온전한 가정 하에, 이는 이전의 희소 회귀 및 절단된 회귀 연구를 별도로 다룬 바를 일반화한다.

ABSTRACT

As in standard linear regression, in truncated linear regression, we are given access to observations $(A_i, y_i)_i$ whose dependent variable equals $y_i= A_i^{ m T} \cdot x^* + η_i$, where $x^*$ is some fixed unknown vector of interest and $η_i$ is independent noise; except we are only given an observation if its dependent variable $y_i$ lies in some "truncation set" $S \subset \mathbb{R}$. The goal is to recover $x^*$ under some favorable conditions on the $A_i$'s and the noise distribution. We prove that there exists a computationally and statistically efficient method for recovering $k$-sparse $n$-dimensional vectors $x^*$ from $m$ truncated samples, which attains an optimal $\ell_2$ reconstruction error of $O(\sqrt{(k \log n)/m})$. As a corollary, our guarantees imply a computationally efficient and information-theoretically optimal algorithm for compressed sensing with truncation, which may arise from measurement saturation effects. Our result follows from a statistical and computational analysis of the Stochastic Gradient Descent (SGD) algorithm for solving a natural adaptation of the LASSO optimization problem that accommodates truncation. This generalizes the works of both: (1) [Daskalakis et al. 2018], where no regularization is needed due to the low-dimensionality of the data, and (2) [Wainright 2009], where the objective function is simple due to the absence of truncation. In order to deal with both truncation and high-dimensionality at the same time, we develop new techniques that not only generalize the existing ones but we believe are of independent interest.

연구 동기 및 목표

• 관측된 응답값이 절단 집합 S 내에 있을 때만 관측 가능한 고차원 희소 벡터를 복원하는 문제에 도전한다.
• 고차원(m ≪ n) 및 절단된 설정에서 표준 선형 회귀와 LASSO의 한계를 극복한다.
• 희소성과 절단을 동시에 고려할 수 있는 계산적으로 효율적이고 통계적으로 최적인 방법을 개발한다.
• 기존의 희소 회귀(Wainwright) 및 절단된 회귀(Daskalakis 등) 연구 결과를 동시에 고차원성과 절단을 다룰 수 있도록 일반화한다.

제안 방법

• 관측값이 절단 집합 S 내에 있을 확률을 고려하여 목적 함수를 수정함으로써 표준 LASSO 최적화에 절단을 통합한다.
• 확률적 경사 하강법(SGD)을 사용하여 절단된 LASSO 문제를 해결함으로써 고차원 설정에서의 확장성을 확보한다.
• 효율적인 표본 추출을 위해 평가 오ракูล과 역함수 근사 기법을 사용하여 절단된 정규 분포에서의 표본 추출을 가능하게 한다.
• 정규 설계 행렬과 노이즈의 농도 및 반농도 성질을 활용하여 수렴성과 오차 한계를 보장한다.
• 절단 집합 S가 일정 비율의 샘플이 생존할 수 있도록 허용해야 하며, 이는 복원에 필요한 충분한 신호를 보장한다.
• 희소성 유도 ℓ₁ 정규화와 가능성 기반 절단 보정을 결합함으로써 절단된 LASSO에서의 SGD 알고리즘이 최적의 통계적 오차를 달성함을 증명한다.

실험 결과

연구 질문

• RQ1 m ≪ n 이고 x*가 k-희소일 때, 고차원 절단 선형 회귀에서 최적의 ℓ₂ 재구성 오차를 달성할 수 있는가?
• RQ2 희소성과 절단을 동시에 다룰 수 있는 계산적으로 효율적인 알고리즘이 존재하는가?
• RQ3 절단과 고차원성의 상호작용이 매개변수 복원의 통계적 및 계산 복잡도에 어떻게 영향을 미치는가?
• RQ4 설계 행렬과 절단 집합에 대한 온전한 가정 하에, 절단된 LASSO 설정에서의 SGD가 정보 이론적으로 최적의 오차율을 달성할 수 있는가?
• RQ5 기존의 희소 회귀나 절단된 회귀 방법을 넘어서, 절단과 희소성을 동시에 다루기 위해 어떤 새로운 분석 기법이 필요한가?

주요 결과

• 제안된 절단된 LASSO 기반 SGD 방법은 O(√(k log n)/m)의 ℓ₂ 재구성 오차를 달성하며, 이는 정보 이론적으로 최적이다.
• 이 방법은 계산적으로 효율적이며, m ≪ n 인 경우에도 다항 시간 내에 실행된다.
• 분석은 기존 결과를 일반화한다: Wainwright(2009)의 고차원 희소 회귀에서의 최적 오차율과 Daskalakis 등(2022)의 저차원 절단 회귀에서의 절단 내성 결과를 모두 회복한다.
• 절단 집합 S는 일정 비율의 샘플이 생존하도록 허용되어야 하며, 이는 복원에 필요한 충분한 신호를 보장한다.
• 이 방법은 절단된 정규 분포에서의 근사 표본 추출과 고정밀도 역함수 근사 기법을 활용하는 새로운 기법에 의존한다.
• 오차 한계는 √(k log n)/m 비례로 변화하며, 이는 희소성, 차원 수, 표본 크기 간의 상충 관계를 반영하며, 알려진 최소최대 하한값과 일치한다.