[논문 리뷰] Sample Complexity of Learning Mixtures of Sparse Linear Regressions

Akshay Krishnamurthy, Arya Mazumdar외 2명|arXiv (Cornell University)|2019. 10. 30.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 5

한 줄 요약

이 논문은 이전 연구에서 제기한 제한적인 가정을 제거하고 더 나은 표본 복잡도를 달성하는 희소 선형 회귀 혼합 모델 학습을 위한 강건한 알고리즘을 제안한다. 노이즈가 없는 경우 최적의 질의 복잡도 $ O(kL\log(kL)) $ 를 달성하며, 노이즈가 있는 설정에서 $ L > 2 $ 에 대해 처음으로 강건한 재구성을 가능하게 한다. 이는 희소 다항식 성질과 정규분포 혼합 학습 및 오류 수정 부호 이론과의 연결을 활용한 것이다.

ABSTRACT

In the problem of learning mixtures of linear regressions, the goal is to learn a collection of signal vectors from a sequence of (possibly noisy) linear measurements, where each measurement is evaluated on an unknown signal drawn uniformly from this collection. This setting is quite expressive and has been studied both in terms of practical applications and for the sake of establishing theoretical guarantees. In this paper, we consider the case where the signal vectors are sparse; this generalizes the popular compressed sensing paradigm. We improve upon the state-of-the-art results as follows: In the noisy case, we resolve an open question of Yin et al. (IEEE Transactions on Information Theory, 2019) by showing how to handle collections of more than two vectors and present the first robust reconstruction algorithm, i.e., if the signals are not perfectly sparse, we still learn a good sparse approximation of the signals. In the noiseless case, as well as in the noisy case, we show how to circumvent the need for a restrictive assumption required in the previous work. Our techniques are quite different from those in the previous work: for the noiseless case, we rely on a property of sparse polynomials and for the noisy case, we provide new connections to learning Gaussian mixtures and use ideas from the theory of error-correcting codes.

연구 동기 및 목표

• 노이즈가 있는 설정에서 두 개 이상의 희소 선형 회귀 혼합 모델을 학습하는 데 있어 열린 문제를 해결하기 위해.
• Yin 등 (2019) 이 제시한 제한적인 가정을 제거하기 위해, 신호 벡터의 겹치는 지지 집합 내에서 비제로 성분이 서로 다를 필요가 없도록 하기 위해.
• $ L > 2 $ 에 대해 처음으로 강건한 재구성 알고리즘을 제공하여, 노이즈가 있는 불완전한 희소 신호를 처리하기 위해.
• 노이즈가 없는 경우 최적의 표본 복잡도 $ O(kL\log(kL)) $ 를 달성하며, 이는 이전의 상한과 일치하지만 더 넓은 조건 하에서.
• 오류 수정 부호 이론 및 정규분포 혼합 학습과의 새로운 연결을 통해 희소 벡터 복원에 대한 이론적 보장을 수립하기 위해.

제안 방법

• 랜덤 $ \pm 1 $ 벡터와 스케일된 정수 벡터를 기반으로 한 질의 설계를 통해 희소 복원을 위한 신호 대 잡음 비율을 증폭한다.
• Johnson-Lindenstrauss 유형의 농도를 적용하여 희소 부분공간에 대한 제한된 등장성 성질(Restricted Isometry Property, RIP)을 보장한다.
• 노이즈가 없는 경우 다중 희소 신호를 구분하기 위해 희소 다항식의 성질을 활용한다.
• 노이즈가 있는 측정치를 처리하고 강건한 근사치를 가능하게 하기 위해 정규분포 혼합 학습과의 연결을 도입한다.
• 측정 행렬을 $ \delta $-RIP 성질을 갖도록 구성한 후, 기저 추적(Basis Pursuit)과 $ \ell_1 $-최소화 기법을 사용하여 희소 복원을 수행한다.
• 모든 $ k $-희소 지지 집합에 대한 유니온 바운드를 적용하고, 고차원 설정에서 실패 확률을 유계화하기 위해 스타링의 근사법을 적용한다.

실험 결과

연구 질문

• RQ1 신호 지지 집합에 대한 제한적인 가정 없이도, 희소 선형 회귀 혼합 모델 학습의 표본 복잡도를 최적화할 수 있는가?
• RQ2 노이즈가 있는 설정에서 강건한 복원 알고리즘을 $ L=2 $ 경우를 초월해 확장할 수 있는가?
• RQ3 노이즈가 없는 경우, 희소 다항식의 구조를 어떻게 활용하여 다수의 희소 벡터를 복원할 수 있는가?
• RQ4 희소 혼합 모델에서 질의 복잡도와 노이즈에 대한 강건성 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 정규분포 혼합 학습 및 오류 수정 부호 이론과의 연결을 통해 희소 회귀 혼합 모델의 표본 복잡도와 강건성을 향상시킬 수 있는가?

주요 결과

• 논문은 노이즈가 없는 경우 $ L $ 개의 $ k $-희소 벡터 복원에 대해 $ O(kL\log(kL)) $ 의 표본 복잡도를 확립하였으며, 이는 이전의 상한과 일치하지만 제한적인 가정 없이 달성되었다.
• 노이즈가 없는 경우 질의 수에 대해 하한 $ \Omega(kL) $ 를 증명하여 상한이 渐近적으로 최적임을 보였다.
• 노이즈가 있는 경우, 제안된 알고리즘이 신호가 완전히 희소하지 않더라도 좋은 희소 근사치를 강건하게 복원할 수 있음을 입증하였다.
• 이 방법은 이전에 $ L=2 $ 에서만 해결된 노이즈가 있는 복원을 $ L > 2 $ 로 확장하는 열린 문제를 해결하였다.
• 분석 결과, $ c'k\log(n/k) $ 개의 질의로 높은 확률로 $ \delta $-RIP 성질을 확보할 수 있으며, 이는 기저 추적을 통한 안정적 복원을 가능하게 한다.
• 신호 대 잡음 비율(SNR)은 $ \mathsf{SNR} = \frac{1}{\sigma^2}\left(1 + \frac{z^\star(2z^\star+1)(4z^\star+1)^2}{3}\right) $ 로 유도되었으며, $ z^\star $ 는 상수이므로 노이즈 하에서 신뢰할 수 있는 복원을 보장한다.