[論文レビュー] A Mathematical Framework for Feature Selection from Real-World Data with Non-Linear Observations

Martin Genzel, Gitta Kutyniok|arXiv (Cornell University)|Aug 31, 2016

Sparse and Compressive Sensing Techniques参考文献 3被引用数 7

ひとこと要約

本稿は、真の信号変数が観測されておらず、観測された特徴量に間接的に符号化されている高次元で非線形なデータにおける特徴選択のための数学的枠組みを提示する。一般の非線形観測モデルと構造的凸損失関数の下で、凸最適化によるスパース信号推定の厳密な回復保証を確立し、モデルパラメータの知識がなく、信号変数への直接アクセスがない状況でも、正確な変数選択が可能であることを示している。

ABSTRACT

In this paper, we study the challenge of feature selection based on a relatively small collection of sample pairs $\{(x_i, y_i)\}_{1 \leq i \leq m}$. The observations $y_i \in \mathbb{R}$ are thereby supposed to follow a noisy single-index model, depending on a certain set of signal variables. A major difficulty is that these variables usually cannot be observed directly, but rather arise as hidden factors in the actual data vectors $x_i \in \mathbb{R}^d$ (feature variables). We will prove that a successful variable selection is still possible in this setup, even when the applied estimator does not have any knowledge of the underlying model parameters and only takes the 'raw' samples $\{(x_i, y_i)\}_{1 \leq i \leq m}$ as input. The model assumptions of our results will be fairly general, allowing for non-linear observations, arbitrary convex signal structures as well as strictly convex loss functions. This is particularly appealing for practical purposes, since in many applications, already standard methods, e.g., the Lasso or logistic regression, yield surprisingly good outcomes. Apart from a general discussion of the practical scope of our theoretical findings, we will also derive a rigorous guarantee for a specific real-world problem, namely sparse feature extraction from (proteomics-based) mass spectrometry data.

研究の動機と目的

• 信号変数が観測されておらず、観測データベクトルに間接的に符号化されている状況における特徴選択のための一般的な数学的枠組みを開発すること。
• 非線形観測と一般的な凸損失関数を伴う高次元設定におけるスパース信号推定の理論的回復保証を確立すること。
• 本フレームワークの実世界問題への実用的適用性を示すこと、特にプロテオミクスに基づく質量分析法データ解析において。
• 推定器が基本的なモデルパラメータの知識を持たず、生のサンプルペア (xi, yi) のみを観測している状況でも、変数選択が可能であることを示すこと。

提案手法

• 観測データを、固定された特徴アトム (ak) に重み付けされた未知の信号要因 (si,k) の線形結合と加法的ノイズの和としてモデル化する：xi = Σk si,k ak + ni。
• 応答変数 yi が、隠れた信号変数の線形結合に依存するノイズを含む単一インデックスモデルに従うと仮定する：yi ≈ f(⟨si, z0⟩) + ノイズ。
• 観測データペア (xi, yi) を用いて、構造的制約集合 K 上で一般の凸損失関数を最小化する凸最適化フレームワークを提案する。
• データ共分散行列 Σ と線形作用素 ˜DΣ を用いた変換を導入し、推定パラメータ ˆβ と真の信号ベクトル z0 の関係を定式化する。
• 高次元確率論と幾何的関数解析の道具を用い、ガウス幅とラデマッハ複雑度を用いて誤差境界を導出する。
• 推定誤差 ∥√Σ(ˆz − λ0z0)∥2 に対する境界を、サンプルサイズ m、制約集合 K の複雑さ、ノイズレベル ε と ε0 の関数として導出する。

実験結果

リサーチクエスチョン

• RQ1 真の信号変数が観測されておらず、高次元データに間接的に符号化されている状況で、どのような条件下で正確な特徴選択が達成可能か？
• RQ2 モデルパラメータや非線形観測関数の知識がなく、生のサンプル (xi, yi) のみを観測している状況でも、凸最適化アプローチが真のスパース信号ベクトル z0 を回復できるか？
• RQ3 提案手法の性能は、制約集合 K の構造とデータ多様体の複雑さにどのように依存するか？
• RQ4 一般の凸損失関数を伴う非線形的で高次元な設定における変数選択に対して、どのような理論的保証を確立できるか？
• RQ5 本フレームワークは、プロテオミクス質量分析法データにおけるスパース特徴抽出といった実世界問題に厳密に適用可能か？

主な発見

• 本稿は、信号変数 si が観測されておらず、観測データベクトル xi に間接的に符号化されている状況でも、真のスパース信号ベクトル z0 の正確な回復が可能であることを証明している。
• 厳密な誤差境界が確立された：∥√Σ(ˆz − λ0z0)∥2 ≤ C′ρ,η ⎛⎜⎝(4d(˜DΣK)/m)^1/4 + ε + ε0⎞⎟⎠ であり、サンプルサイズ m が増加するにつれて推定誤差が減少することが示された。
• 本フレームワークは一般の凸損失関数と任意の凸信号構造に適用可能であり、Lasso やロジスティック回帰を含む、実世界問題への広範な適用性を有する。
• 応答変数 yi が有界なノイズを伴う単一インデックスモデルに従う限り、非線形観測とモデル不確実性が存在する状況でも回復が可能である。
• 理論的結果は、実世界の問題であるプロテオミクスに基づく質量分析法データからのスパース特徴抽出に検証され、実用的意義が示された。
• 解析から、本手法はノイズやモデル誤指定に対してロバストであり、性能は制約集合 K のガウス幅とサンプルサイズ m に依存することが示された。