[論文レビュー] Sample Complexity of Learning Mixtures of Sparse Linear Regressions

Akshay Krishnamurthy, Arya Mazumdar+2 more|arXiv (Cornell University)|Oct 30, 2019

Sparse and Compressive Sensing Techniques参考文献 25被引用数 5

ひとこと要約

本稿では、先行研究の制限的な仮定を排除し、より優れた標本複雑性を達成する、混合スパース線形回帰を学習するための頑健なアルゴリズムを提示する。ノイズなしの場合に $ O(kL\log(kL)) $ の最適クエリ複雑性を達成し、ノイズあり設定において $ L > 2 $ の場合に初めて頑健な再構成を可能にする。これはスパース多項式の性質とガウス混合学習、誤り訂正符号への接続を活用することで実現される。

ABSTRACT

In the problem of learning mixtures of linear regressions, the goal is to learn a collection of signal vectors from a sequence of (possibly noisy) linear measurements, where each measurement is evaluated on an unknown signal drawn uniformly from this collection. This setting is quite expressive and has been studied both in terms of practical applications and for the sake of establishing theoretical guarantees. In this paper, we consider the case where the signal vectors are sparse; this generalizes the popular compressed sensing paradigm. We improve upon the state-of-the-art results as follows: In the noisy case, we resolve an open question of Yin et al. (IEEE Transactions on Information Theory, 2019) by showing how to handle collections of more than two vectors and present the first robust reconstruction algorithm, i.e., if the signals are not perfectly sparse, we still learn a good sparse approximation of the signals. In the noiseless case, as well as in the noisy case, we show how to circumvent the need for a restrictive assumption required in the previous work. Our techniques are quite different from those in the previous work: for the noiseless case, we rely on a property of sparse polynomials and for the noisy case, we provide new connections to learning Gaussian mixtures and use ideas from the theory of error-correcting codes.

研究の動機と目的

• ノイズあり設定における2つより多くのスパース線形回帰の混合を学習するという未解決問題を解消すること。
• Yin ら (2019) が導入した、信号ベクトルの重複するサポート上での非ゼロ成分がすべて異なる必要があるという制限的な仮定を排除すること。
• $ L > 2 $ の場合に初めて頑健な再構成アルゴリズムを提供し、ノイズが存在する中で完全にスパースでない信号に対しても対応可能にすること。
• ノイズなしの場合に最適な標本複雑性 $ O(kL\log(kL)) $ を達成し、より広い条件下で先行研究の境界と一致すること。
• 誤り訂正符号およびガウス混合学習への新しい接続を用いて、スパースベクトル回復の理論的保証を確立すること。

提案手法

• ランダムな $ \pm 1 $ ベクトルとスケーリングされた整数ベクトルに基づくクエリ設計を用い、スパース回復のための信号対雑音比を向上させる。
• ジョンソン＝リンデンストラウス型の濃縮を適用し、スパース部分空間における制限的等長性（RIP）を保証する。
• ノイズなしの場合に複数のスパース信号を区別するために、スパース多項式の性質を活用する。
• ノイズあり測定を処理し、頑健な近似を可能にするために、ガウス混合学習の学習への接続を導入する。
• 測定行列に $ \delta $-RIP 性質を満たすように構築した後、基底追跡と $ \ell_1 $-最小化を用いてスパース回復を実行する。
• すべての $ k $-スパースサポートについての和集合の不等式を適用し、高次元設定における失敗確率の上限を求めるためにスターリングの近似を用いる。

実験結果

リサーチクエスチョン

• RQ1 信号サポートに制限的な仮定を要しない条件下で、混合スパース線形回帰の学習における標本複雑性を最適化することは可能か？
• RQ2 ノイズあり設定において、$ L=2 $ の場合を超えて頑健な回復アルゴリズムを拡張することは可能か？
• RQ3 ノイズなしの場合に、複数のスパースベクトルを回復するためにスパース多項式構造をどのように活用できるか？
• RQ4 スパース混合モデルにおいて、クエリ複雑性とノイズへの頑健性の最適なトレードオフは何か？
• RQ5 ガウス混合学習および誤り訂正符号への接続は、スパース回帰混合における標本複雑性と頑健性の向上に寄与できるか？

主な発見

• 本稿では、$ L $ 個の $ k $-スパースベクトルのノイズなし回復に $ O(kL\log(kL)) $ の標本複雑性を確立し、先行研究の上界と一致するが、制限的な仮定を一切要しない。
• 下界 $ \Omega(kL) $ を証明し、上界が漸近的に最適であることを示した。
• ノイズありの場合、信号が完全にスパースでない場合でも、良好なスパース近似の頑健な回復が達成される。
• 本手法は、$ L > 2 $ におけるノイズあり回復の未解決問題を解決し、これまで $ L=2 $ の場合にのみ解かれていた問題を拡張した。
• 解析により、$ c'k\log(n/k) $ 個のクエリで高確率で $ \delta $-RIP を達成でき、基底追跡による安定な回復が可能であることが示された。
• 信号対雑音比（SNR）は $ \mathsf{SNR} = \frac{1}{\sigma^2}\left(1 + \frac{z^\star(2z^\star+1)(4z^\star+1)^2}{3}\right) $ として導出され、$ z^\star $ は定数である。これにより、ノイズ下でも信頼性の高い回復が保証される。