[논문 리뷰] Variable Selection is Hard

Dean P. Foster, Howard Karloff외 1명|arXiv (Cornell University)|2014. 12. 15.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 26

한 줄 요약

이 논문은 정상적인 복잡도 가정 하에, 정확한 희소성보다 거의 지수적 요인만큼 더 큰 희소성을 허용하고 상당한 잔차 오차를 수용하는 경우조차도, 희소 선형 회귀에서 변수 선택이 계산적으로 어렵다는 것을 증명한다. 표준 복잡도 가정 하에, 어떤 다항식 시간 알고리즘도 진짜 희소성 $ k' = k \cdot 2^{\log^{1-\delta} p} $ 와 오차 $ h(m,p) \leq p^{C_1} m^{1-C_2} $ 를 만족하는 해를 보장할 수 없다. 이는 정확한 $ k $-희소 해가 존재하는 경우에도 마찬가지다.

ABSTRACT

Variable selection for sparse linear regression is the problem of finding, given an m x p matrix B and a target vector y, a sparse vector x such that Bx approximately equals y. Assuming a standard complexity hypothesis, we show that no polynomial-time algorithm can find a k'-sparse x with ||Bx-y||^2<=h(m,p), where k'=k*2^{log^{1-delta} p} and h(m,p)<=p^(C_1)*m^(1-C_2), where delta>0, C_1>0,C_2>0 are arbitrary. This is true even under the promise that there is an unknown k-sparse vector x^* satisfying Bx^*=y. We prove a similar result for a statistical version of the problem in which the data are corrupted by noise. To the authors' knowledge, these are the first hardness results for sparse regression that apply when the algorithm simultaneously has k'>k and h(m,p)>0.

연구 동기 및 목표

• 희소성과 잔차 오차에 대한 완화된 조건 하에서 희소 선형 회귀의 계산적 난이도를 확립하기 위해.
• 정확한 희소 해보다 훨씬 많은 비제로 성분을 포함하되 여전히 비최적의 오차 범위를 유지하는 다항식 시간 알고리즘이 존재하지 않음을 보여주기 위해.
• 증가된 희소성과 양의 잔차 오차를 동시에 允허하는 첫 번째 희소 회귀에 대한 난이도 결과를 제공하기 위해.
• 가우시안 노이즈에 의해 손상된 데이터를 고려하는 노이즈 있는 회귀 설정으로 난이도 결과를 확장하기 위해.
• 희소 회귀의 비가역성과 최소 제곱법을 통한 노이즈 있는 회귀의 가역성 사이의 대비를 제시하기 위해.

제안 방법

• Feige의 감소를 사용하여 NP-난이도 집합 커버 문제를 희소 회귀 인스턴스로 감소시키며, $ k $-집합 커버가 존재함과 동시에 목표 벡터가 정확히 $ k $개의 열의 선형 조합으로 표현 가능함이 동치가 되도록 보존한다.
• 집합 커버의 인cidience 행렬 $ B $ 를 $ r $번 반복하여 스택함으로써 블록 행렬 $ B' $ 을 구성함으로써, 만족 불가능한 인스턴스의 잔차 오차를 증가시킨다.
• 확률적 강화 기법을 사용: 목표 벡터의 노이즈 있는 복제본에 대해 후보 알고리즘을 여러 번 실행하여 성공 확률을 강화한다.
• 마르코프 부등식을 적용하여 잔차 오차가 임계값 $ h(m,p) $ 를 초과할 확률를 상한으로 제한함으로써 고확률 정확성을 확보한다.
• 반복적인 표본 추출과 마르코프 부등식을 활용하여 노이즈 있는 희소 회귀에서 정확한 희소 회귀로의 감소를 수립함으로써, 노이즈 있는 경우의 난이도가 정확한 경우의 난이도를 암시함을 보였다.
• 복잡도 이론적 가정(예: $ \textsc{SAT} \notin \textsc{DTime}(n^{O(\log\log n)}) $)을 활용하여 도달 가능한 오차와 희소성의 하한을 유도한다.

실험 결과

연구 질문

• RQ1 정확한 $ k $-희소 해가 존재하는 경우조차도, 다항식 시간 알고리즘이 희소성 $ k' = k \cdot 2^{\log^{1-\delta} p} $ 과 오차 $ h(m,p) \leq p^{C_1} m^{1-C_2} $ 를 만족하는 해를 도달할 수 있는가?
• RQ2 정확한 해보다 거의 지수적 요인만큼 더 많은 비제로 성분을 포함하는 해를 얻는 데 있어 기본적인 계산적 장벽이 존재하는가, 즉 오차 허용 범위를 완화하더라도 말이다?
• RQ3 정확한 희소 회귀의 난이도와 최소 제곱법으로 효율적으로 해결 가능한 노이즈 있는 희소 회귀의 난이도 사이에는 어떤 차이가 있는가?
• RQ4 강력한 오рак불을 사용하지 않고도 표준 복잡도 가정 하에 희소 회귀의 난이도를 증명할 수 있는가?
• RQ5 진짜 희소 해보다 약간 더 많은 비제로 성분을 포함하는 해를 출력할 수 있도록 허용할 경우, 어떤 다항식 시간 알고리즘이 도달할 수 있는 최소 오차 상한은 무엇인가?

주요 결과

• 표준 복잡도 가정 $ \textsc{SAT} \notin \textsc{DTime}(n^{O(\log\log n)}) $ 하에, $ g(p) = (1-\delta)\ln p $ 와 $ h(m,p) = m^{1-\delta} $ 를 만족하는 $ (g,h) $-희소 회귀를 해결할 수 있는 다항식 시간 알고리즘은 존재하지 않는다.
• 이 논문은 희소성 $ k' > k $ 와 잔차 오차 $ h(m,p) > 0 $ 를 동시에 允허하는 첫 번째 희소 회귀 난이도 결과를 수립하여 이전 연구의 격차를 메웠다.
• 노이즈 있는 회귀 변형에 대해서는, 다항식 시간 알고리즘이 오차를 $ p^{C_1} m^{1-C_2} $ 이하로 제한할 수 없다는 것을 증명하였으며, 이는 희소성에 거의 지수적 증가가 있더라도 마찬가지다.
• 반복적인 표본 추출과 마르코프 부등식을 활용하여 노이즈 있는 희소 회귀에서 정확한 희소 회귀로의 감소를 수립함으로써, 노이즈 있는 경우의 난이도가 정확한 경우의 난이도를 암시함을 보였다.
• 정확한 회귀와 노이즈 있는 회귀 사이의 근본적인 격차를 드러내기 위해, 최소 제곱법을 통한 노이즈 있는 회귀는 $ m $ 에 관계없이 항상 오차 $ p $ 를 달성하는 반면, 정확한 회귀는 그렇지 않음을 대비시켰다.
• 알고리즘이 $ k' = k \cdot 2^{\log^{1-\delta} p} $ 개의 비제로 성분을 포함하는 해를 출력할 수 있도록 허용하더라도, 이 결과는 여전히 성립하며, 이러한 '유령적' 접근이 문제의 가용성을 높이지 못함을 보여준다.