[논문 리뷰] Sample Complexity of Learning Mixture of Sparse Linear Regressions

Akshay Krishnamurthy, Arya Mazumdar외 2명|arXiv (Cornell University)|2019. 10. 01.

Sparse and Compressive Sensing Techniques인용 수 9

한 줄 요약

이 논문은 노이즈 환경에서 더 이상 두 개 이상의 신호와 완벽하게 희박하지 않은 신호를 다룰 수 있는 강건한 알고리즘을 도입하여 희박 선형 회귀 혼합 모델 학습의 표본 복잡도를 향상시킨다. 기존 연구에서 요구하던 제한적인 가정들을 제거하기 위해 희박 다항식 성질과 가우시안 혼합 학습에 대한 새로운 연결 고리를 활용함으로써, 일반적인 희박 혼합 모델에 대해 처음으로 증명 가능한 강건한 재구성 성능를 달성한다.

ABSTRACT

In the problem of learning mixtures of linear regressions, the goal is to learn a col-lection of signal vectors from a sequence of (possibly noisy) linear measurements,where each measurement is evaluated on an unknown signal drawn uniformly fromthis collection. This setting is quite expressive and has been studied both in termsof practical applications and for the sake of establishing theoretical guarantees. Inthis paper, we consider the case where the signal vectors aresparse; this generalizesthe popular compressed sensing paradigm. We improve upon the state-of-the-artresults as follows: In the noisy case, we resolve an open question of Yin et al. (IEEETransactions on Information Theory, 2019) by showing how to handle collectionsof more than two vectors and present the first robust reconstruction algorithm, i.e.,if the signals are not perfectly sparse, we still learn a good sparse approximationof the signals. In the noiseless case, as well as in the noisy case, we show how tocircumvent the need for a restrictive assumption required in the previous work. Ourtechniques are quite different from those in the previous work: for the noiselesscase, we rely on a property of sparse polynomials and for the noisy case, we providenew connections to learning Gaussian mixtures and use ideas from the theory of

연구 동기 및 목표

• 노이즈 환경에서 두 개 이상의 희박 선형 회귀 혼합 모델을 학습하는 데 있어 열려 있는 문제를 해결하기 위해.
• 불완전한 희박성과 측정 노이즈를 수용할 수 있는 강건한 재구성 알고리즘을 개발하기 위해.
• 기존 연구에서 요구하던 제한적인 가정들을 제거하기 위해.
• 노이즈가 없는 경우와 노이즈가 있는 경우에 모두 더 날카로운 표본 복잡도 한계를 설정하기 위해.

제안 방법

• 노이즈가 없는 경우에 신호를 복원하기 위해 희박 다항식의 구조적 성질을 활용하기 위해.
• 희박 선형 회귀 혼합 모델과 가우시안 혼합 학습 간의 새로운 연결 고리를 도입하여 노이즈를 다루기 위해.
• 희박한 신호 구조에 적합하게 조정된 모멘트 기반 추정 기법을 사용하기 위해.
• 완전히 희박하지 않은 경우에도 희박한 신호를 복원할 수 있는 다항식 시간 알고리즘을 설계하기 위해.
• 스펙트럼 및 대수적 방법을 적용하여 혼합된 선형 측정치를 분리하기 위해.
• 노이즈 하에서 비희박한 신호를 희박한 신호로 근사하기 위한 볼록 최적화 접근법을 제안하기 위해.

실험 결과

연구 질문

• RQ1 두 개 이상의 신호가 포함된 경우, 희박 선형 회귀 혼합 모델 학습의 표본 복잡도를 향상시킬 수 있는가?
• RQ2 신호가 완전히 희박하지 않으며 측정치에 노이즈가 있을 경우, 여전히 좋은 희박 근사치를 복원할 수 있는 강건한 알고리즘을 설계할 수 있는가?
• RQ3 기존 연구에서 요구하던 제한적인 가정들을 표본 복잡도 보장을 유지하면서 제거할 수 있는가?
• RQ4 어떻게 희박 다항식 성질이 노이즈가 없는 설정에서 정확한 복원을 가능하게 하는가?
• RQ5 희박 혼합 모델 학습과 가우시안 혼합 학습 간의 어떤 연결 고리가 노이즈에 강건한 성능을 향상시키는 데 활용될 수 있는가?

주요 결과

• 논문은 Yin 등이 제기한 노이즈가 있는 경우에 두 개 이상의 희박 선형 회귀 혼합 모델에 대한 표본 복잡도 문제를 해결한다.
• 신호가 완전히 희박하지 않은 경우에도 좋은 희박 근사치를 보장하는 최초의 강건한 재구성 알고리즘을 제시한다.
• 기존 연구에서 요구하던 제한적인 가정을 제거함으로써, 보다 광범위한 희박 혼합 모델 클래스에 적용 가능한 알고리즘을 가능하게 한다.
• 노이즈가 없는 경우, 희박 다항식의 성질을 활용하여 정확한 복원을 달성한다.
• 노이즈가 있는 경우, 가우시안 혼합 학습과의 새로운 이론적 연결 고리를 제공함으로써 더 나은 강건성을 확보한다.
• 제안된 알고리즘은 노이즈가 없는 경우와 노이즈가 있는 경우 모두에서 증명 가능한 낮은 표본 복잡도를 달성하여, 이전 방법들보다 일반성과 강건성 면에서 뛰어나다.