[논문 리뷰] Linear regression without correspondence

Daniel Hsu, Kevin Shi외 1명|arXiv (Cornell University)|2017. 05. 19.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 33

한 줄 요약

이 논문은 상수 차원에서 대응 관계가 없는 선형 회귀에 대한 전연도 다항시간 근사계열(FPTAS)을 제안하고, i.i.d. 가우시안 공변수와 노이즈가 없는 조건에서 격자 기저 감소를 이용한 효율적인 정확한 복원 알고리즘을 제시한다. 또한 일致적인 추정을 위해 필요한 신호 대 잡음비(SNR)의 기본 하한을 규명하여, 대응 관계가 없을 경우 큰 표본 크기일지라도 복원이 통계적으로 도전적인 문제임을 보여준다.

ABSTRACT

This article considers algorithmic and statistical aspects of linear regression when the correspondence between the covariates and the responses is unknown. First, a fully polynomial-time approximation scheme is given for the natural least squares optimization problem in any constant dimension. Next, in an average-case and noise-free setting where the responses exactly correspond to a linear function of i.i.d. draws from a standard multivariate normal distribution, an efficient algorithm based on lattice basis reduction is shown to exactly recover the unknown linear function in arbitrary dimension. Finally, lower bounds on the signal-to-noise ratio are established for approximate recovery of the unknown linear function by any estimator.

연구 동기 및 목표

• 공변수와 반응 간의 대응 관계가 알려져 있지 않은 경우에 효율적인 알고리즘을 개발하기 위해.
• 이러한 대응 관계가 없는 설정에서 진정한 선형 모델을 복원하는 데 있어 계산적 및 통계적 한계를 규명하기 위해.
• 상수 차원에서 최소 제곱 문제에 대한 완전 다항시간 근사계열(FPTAS)을 제공하기 위해.
• i.i.d. 표준 정규 공변수와 영역간 노이즈 조건에서 격자 기저 감소를 이용한 정확한 복원 알고리즘을 설계하기 위해.
• 회귀 벡터의 일관된 추정을 위해 필요한 신호 대 잡음비(SNR)의 비점근적 하한을 유도하기 위해.

제안 방법

• 임의의 상수 차원 d에서 최소 제곱 문제에 대한 완전 다항시간 근사계열(FPTAS)을 제안하여, (1+ε)-근사 해를 위한 런타임이 (n/ε)^O(d)가 되도록 한다.
• i.i.d. 표준 정규 공변수와 측정 노이즈가 없는 조건에서, 비대응 회귀 문제를 격자 문제로 변환하기 위해 격자 기저 감소(Lenstra–Lenstra–Lovász 알고리즘)를 활용한다.
• 공변수 벡터와 목표 벡터의 양자화를 통해 격자 기반 복원 알고리즘이 n과 d에 대해 다항시간 내에 실행되도록 한다.
• 단위 구면에서 1/√2-포장 구조를 활용하여 하한 유도를 위한 구별 가능한 목표 벡터 집합을 구성한다.
• Wasserstein-2 거리와 Kullback-Leibler 발산을 사용하여 다양한 목표 벡터 하에서 반응의 경험적 분포를 비교하고, Fano의 부등식 적용을 가능하게 한다.
• Fano의 부등식을 활용하여 추정 오차의 하한을 도출하여, 어떤 추정제도 특정 SNR 임계값 이하에서는 고확률 복원을 달성할 수 없음을 보여준다.

실험 결과

연구 질문

• RQ1 상수 차원에서 대응 관계가 없는 최소 제곱 문제에 대해 다항시간 근사 알고리즘을 설계할 수 있는가?
• RQ2 공변수가 i.i.d. 가우시안이고 대응 관계가 없으며 노이즈가 없을 때, 진짜 회귀 벡터를 정확하게 복원할 수 있는가?
• RQ3 대응 관계가 없는 설정에서 어떤 추정제도 일관된 회귀 벡터 복원을 달성하기 위해 필요한 최소 신호 대 잡음비(SNR)는 얼마인가?
• RQ4 대응 관계가 없는 회귀의 계산적 및 통계적 복잡도는 전통적인 대응 관계가 있는 회귀와 어떻게 비교되는가?
• RQ5 특정 분포 가정 하에 격자 기반 방법을 활용하여 고차원에서 대응 관계가 없는 회귀 문제를 효율적으로 해결할 수 있는가?

주요 결과

• 상수 차원 d에서 대응 관계가 없는 최소 제곱 문제에 대해 (n/ε)^O(d) 런타임을 가지는 (1+ε)-근사 해를 위한 FPTAS가 개발되었다.
• 공변수가 i.i.d. N(0,I_d)이고 노이즈가 없을 때, 적절한 양자화 조건 하에 격자 기저 감소를 활용한 정확한 복원 알고리즘이 제안되었으며, 이는 poly(n,d) 시간 내에 실행된다.
• i.i.d. 표준 정규 공변수 조건에서, 어떤 추정제도 (1/24)‖w̄‖₂ 이하의 추정 오차를 달성할 수 없으며, 이는 SNR ≥ Ω(d / log log n)일 때에만 가능하다.
• i.i.d. [-1/2,1/2]^d 구간에서 균일 분포를 따르는 공변수 조건에서, 어떤 추정제도 오차가 (1/2)(1−1/√2)‖w̄‖₂ 이하일 수 없으며, 이는 SNR ≥ 2일 때에만 가능하다.
• 대응 관계가 없는 설정에서 일관된 복원을 위해 필요한 SNR는 전통적 회귀보다 크게 높으며, 정규 분포 조건에서는 SNR 요구 조건이 d/log log n 비율로 증가하고, 균일 분포 조건에서는 일정하게 유지된다.
• 하한 분석 결과, 대응 관계가 없는 회귀의 통계적 난이도는 대응 관계가 있는 회귀보다 본질적으로 더 높으며, 점근적으로도 마찬가지다.