[論文レビュー] Sample Complexity of Learning Mixture of Sparse Linear Regressions

Akshay Krishnamurthy, Arya Mazumdar+2 more|arXiv (Cornell University)|Oct 1, 2019

Sparse and Compressive Sensing Techniques被引用数 9

ひとこと要約

この論文は、ノイズのある設定において、2つ以上の信号と完全にスパースでない信号を扱える耐障害性のあるアルゴリズムを導入することで、スパース線形回帰混合物の学習におけるサンプル複雑度を向上させた。スパース多項式の性質とガウス混合学習への新しい接続を用いることで、先行研究の制限的な仮定を排除し、一般スパース混合物における初めての理論的保証付き耐障害性再構成を達成した。

ABSTRACT

In the problem of learning mixtures of linear regressions, the goal is to learn a col-lection of signal vectors from a sequence of (possibly noisy) linear measurements,where each measurement is evaluated on an unknown signal drawn uniformly fromthis collection. This setting is quite expressive and has been studied both in termsof practical applications and for the sake of establishing theoretical guarantees. Inthis paper, we consider the case where the signal vectors aresparse; this generalizesthe popular compressed sensing paradigm. We improve upon the state-of-the-artresults as follows: In the noisy case, we resolve an open question of Yin et al. (IEEETransactions on Information Theory, 2019) by showing how to handle collectionsof more than two vectors and present the first robust reconstruction algorithm, i.e.,if the signals are not perfectly sparse, we still learn a good sparse approximationof the signals. In the noiseless case, as well as in the noisy case, we show how tocircumvent the need for a restrictive assumption required in the previous work. Ourtechniques are quite different from those in the previous work: for the noiselesscase, we rely on a property of sparse polynomials and for the noisy case, we providenew connections to learning Gaussian mixtures and use ideas from the theory of

研究の動機と目的

• ノイズのある設定における2つ以上のスパース線形回帰混合物を学習するという未解決問題に取り組む。
• 完全にスパースでない信号や測定ノイズを許容する耐障害性の高い再構成アルゴリズムを開発する。
• 先行研究における混合回帰の回復に必要な制限的な仮定を排除する。
• ノイズなしおよびノイズありの両設定における、よりタイトなサンプル複雑度の境界を確立する。

提案手法

• ノイズなしの場合の信号回復に、スパース多項式の構造的性質を活用する。
• スパース線形回帰混合物とガウス混合学習の間の新しい接続を導入し、ノイズに対処する。
• スパース信号構造に適応したモーメントベース推定技術を用いる。
• 完全にスパースでない信号でさえも、スパース信号を回復できる多項式時間アルゴリズムを設計する。
• スペクトル的および代数的手法を用いて、混合された線形測定値を分離する。
• 非スパース信号をノイズ下でスパース信号で近似するための凸緩和アプローチを定式化する。

実験結果

リサーチクエスチョン

• RQ1 2つ以上の信号が関与する場合、スパース線形回帰混合物の学習におけるサンプル複雑度を改善できるか？
• RQ2 信号が完全にスパースでなく、測定値にノイズがある状況でも、良好なスパース近似を回復できる耐障害性アルゴリズムを設計できるか？
• RQ3 先行研究で必要とされていた制限的な仮定を、サンプル複雑度の保証を損なわずに排除できるか？
• RQ4 スパース多項式の性質は、ノイズなし設定での正確な回復をどのように可能にするか？
• RQ5 スパース混合物の学習とガウス混合学習との間にどのような接続があり、ノイズ耐性に活かせるか？

主な発見

• 論文は、イェンらが提起した、ノイズあり設定における2つ以上のスパース線形回帰混合物のサンプル複雑度に関する未解決問題を解決した。
• 完全にスパースでない信号であっても、良好なスパース近似を保証する初めての耐障害性再構成アルゴリズムを提示した。
• この手法により、先行研究で必要とされていた制限的な仮定が排除され、より広範なスパース混合モデルに適用可能になった。
• ノイズなしの場合、スパース多項式の性質を用いて正確な回復が達成された。
• ノイズありの場合、ガウス混合学習への新しい理論的接続を提供し、より優れた耐障害性を実現した。
• 提案されたアルゴリズムは、ノイズなしおよびノイズありの両設定で、理論的に低いサンプル複雑度を達成しており、以前の手法に比べて一般性と耐障害性の面で優れている。