[論文レビュー] Recovery of Sparse Signals from a Mixture of Linear Samples

Arya Mazumdar, Soumyabrata Pal|arXiv (Cornell University)|Jun 29, 2020

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

本論文は、各クエリが2つのモデルのうち片方のラベルを返すが、どちらのモデルからのものかを特定しない混合線形クエリから2つの未知のスパース線形モデルを効率的に回復するアルゴリズムを提案する。適切に設計されたクエリを用いて圧縮センシングとベースス・パーシュート（basis pursuit）を活用することで、スパarsity やモデルパラメータに関する制限のない仮定のもとでも、最適なクエリ複雑度を達成し、従来の研究に比べてサンプル効率と一般性が著しく向上する。

ABSTRACT

Mixture of linear regressions is a popular learning theoretic model that is used widely to represent heterogeneous data. In the simplest form, this model assumes that the labels are generated from either of two different linear models and mixed together. Recent works of Yin et al. and Krishnamurthy et al., 2019, focus on an experimental design setting of model recovery for this problem. It is assumed that the features can be designed and queried with to obtain their label. When queried, an oracle randomly selects one of the two different sparse linear models and generates a label accordingly. How many such oracle queries are needed to recover both of the models simultaneously? This question can also be thought of as a generalization of the well-known compressed sensing problem (Candès and Tao, 2005, Donoho, 2006). In this work, we address this query complexity problem and provide efficient algorithms that improves on the previously best known results.

研究の動機と目的

• 特徴量を設計・クエリ可能である場合に、2つのスパース線形モデルの混合学習におけるクエリ複雑度問題に対処すること。
• 従来の研究が要求するような、離散値をとる係数や正確なスパarsity といった制限のない仮定を課さずに、その限界を克服すること。
• 係数構造の事前知識がなくても動作する汎用的な回復アルゴリズムを提供すること。
• パラメータ空間で近接しているモデルであっても、最小限のクエリで両モデルを高確率で回復すること。
• スパarsity、信号対雑音比（SNR）、所望の回復精度と比例するクエリ複雑度の境界を確立すること。

提案手法

• 2段階のクエリ戦略を設計：まず、2つのモデルの異なる線形応答に基づいて、ランダムプロジェクションを用いてモデルを分離する。
• 測定行列の制限的等長性性質（RIP）を活用して、スパース信号の安定的回復を保証する。
• 凸最適化を用いたベースス・パーシュートを適用し、グループ化されたサンプルから各モデルを推定し、データ適合制約の下でL1ノルムを最小化する。
• チェルノフの不等式を用いて、モデル応答の差が雑音以上に検出可能である情報量の多いクエリの高確率集中を保証する。
• ノイズ係数NF = γ/σと信号対雑音比（SNR）を定義し、クエリ効率を特徴づけ、これらパラメータに基づいてサンプル複雑度を導出する。
• 置換不変の回復保証を導入し、推定されたモデルが真のモデルとラベル付けの順序を除いて正しく一致することを保証する。

実験結果

リサーチクエスチョン

• RQ1 2つの未知のスパース線形モデルの混合応答から回復するための最小クエリ数は何か？
• RQ2 どのようなクエリ設計により、構造の事前知識なしに両モデルの分離と回復が可能になるか？
• RQ3 離散値をとる係数や正確なスパarsity といった制限のない仮定を排除しながら、低クエリ複雑度を維持できるか？
• RQ4 クエリ複雑度はスパarsity k、次元n、雑音レベルσ、所望の回復精度γとどのようにスケーリングされるか？
• RQ5 2つのモデル間の差異（‖β¹ − β²‖₂）は、必要なクエリ数にどのような影響を与えるか？

主な発見

• 提案手法は、制限のない仮定を排除することで、従来の研究を上回るクエリ複雑度O(k log n log k ⌈log k / log(√SNR / NF)⌉ ⌈1/(NF⁴√SNR) + 1/NF²⌉)を達成する。
• 正確なスパarsity や離散係数値を必要としないため、一般スパースベクトルに適用可能で、実世界のデータに適応可能である。
• γ < ‖β¹ − β²‖₂ / 2 の場合、高確率で両モデルが回復され、誤差はO(γ)に加えて、最良のkスパース近似に関連する項で抑えられる。
• γ = Ω(‖β¹ − β²‖₂ の場合、問題は単一モデル回復に帰着され、クエリ複雑度はO(k log n ⌈log k⌉)に簡略化され、標準的な圧縮センシングの境界と一致する。
• 解析により、情報量の多いクエリの数が期待値のまわりにきわめて集中しており、高確率での信頼性の高い回復が保証される。
• サンプル複雑度はk、n、SNR、精度パラメータγにのみ依存し、従来の手法とは異なり1/εの指数的依存がない。