[논문 리뷰] A Mathematical Framework for Feature Selection from Real-World Data with Non-Linear Observations

Martin Genzel, Gitta Kutyniok|arXiv (Cornell University)|2016. 08. 31.

Sparse and Compressive Sensing Techniques참고 문헌 3인용 수 7

한 줄 요약

이 논문은 진짜 신호 변수가 관측되지 않으며 관측된 특징에 간접적으로 표현되는 고차원 비선형 데이터에서 특징 선택을 위한 수학적 프레임워크를 제시한다. 일반적인 비선형 관측 모델과 구조적 볼록 손실 함수 하에서 볼록 최적화를 통한 희박한 신호 추정의 엄밀한 복구 보장을 수립하며, 모델 파라미터나 직접적인 신호 변수 접근이 없어도 정확한 변수 선택이 가능하다는 것을 증명한다.

ABSTRACT

In this paper, we study the challenge of feature selection based on a relatively small collection of sample pairs $\{(x_i, y_i)\}_{1 \leq i \leq m}$. The observations $y_i \in \mathbb{R}$ are thereby supposed to follow a noisy single-index model, depending on a certain set of signal variables. A major difficulty is that these variables usually cannot be observed directly, but rather arise as hidden factors in the actual data vectors $x_i \in \mathbb{R}^d$ (feature variables). We will prove that a successful variable selection is still possible in this setup, even when the applied estimator does not have any knowledge of the underlying model parameters and only takes the 'raw' samples $\{(x_i, y_i)\}_{1 \leq i \leq m}$ as input. The model assumptions of our results will be fairly general, allowing for non-linear observations, arbitrary convex signal structures as well as strictly convex loss functions. This is particularly appealing for practical purposes, since in many applications, already standard methods, e.g., the Lasso or logistic regression, yield surprisingly good outcomes. Apart from a general discussion of the practical scope of our theoretical findings, we will also derive a rigorous guarantee for a specific real-world problem, namely sparse feature extraction from (proteomics-based) mass spectrometry data.

연구 동기 및 목표

• 신호 변수가 관측되지 않으며 관측된 데이터 벡터에 간접적으로 표현되는 경우에 특징 선택을 위한 일반적인 수학적 프레임워크를 개발하는 것.
• 비선형 관측과 일반 볼록 손실 함수를 가진 고차원 설정에서 희박한 신호 추정의 이론적 복구 보장을 수립하는 것.
• 이 프레임워크가 실세계 문제, 특히 단백질체 기반 질량 분석 스펙트로미터리 데이터 분석에 실제 적용 가능한지를 보여주는 것.
• 추정기의 모델 파라미터에 대한 지식이 없고 오직 원시 샘플 쌍 (xi, yi)만 관측하는 조건에서도 변수 선택이 가능하다는 것을 보여주는 것.

제안 방법

• 관측된 데이터를 고정된 특징 원자 (ak)에 의해 가중된 미지의 신호 요소 (si,k)의 선형 조합으로 모델링하며, 추가 노이즈를 포함한다: xi = Σk si,k ak + ni.
• 반응 변수 yi가 숨겨진 신호 변수의 선형 조합에 의존하는 노이즈가 있는 단일색인 모델을 따른다고 가정한다: yi ≈ f(⟨si, z0⟩) + 노이즈.
• 관측된 데이터 쌍 (xi, yi)를 사용하여 일반 볼록 손실 함수를 최소화하는 구조적 제약 집합 K 위에서 볼록 최적화 프레임워크를 제안한다.
• 데이터 공분산 행렬 Σ와 선형 연산자 ˜DΣ 를 통한 변환을 도입하여 추정된 파라미터 ˆβ 와 진짜 신호 벡터 z0 를 연결한다.
• 고차원 확률론과 기하학적 함수 해석학의 도구를 활용하여 오차 한계를 유도한다. 이들 도구로는 가우시안 폭과 라데마처 복잡도가 포함된다.
• 표본 수 m, 제약 집합 K의 복잡도, 노이즈 수준 ε 과 ε0 에 따라 추정 오차 ∥√Σ(ˆz − λ0z0)∥2 의 bound 를 유도한다.

실험 결과

연구 질문

• RQ1 진짜 신호 변수가 관측되지 않으며 고차원 데이터에 간접적으로 표현되는 조건에서 정확한 특징 선택이 가능할 조건은 무엇인가?
• RQ2 모델 파라미터나 기저 비선형 관측 함수를 사전에 알지 못하는 조건에서 볼록 최적화 접근이 원래의 희박한 신호 벡터 z0 를 복구할 수 있는가?
• RQ3 제안된 방법의 성능은 제약 집합 K 의 구조와 데이터 다양체의 복잡도에 따라 어떻게 달라지는가?
• RQ4 일반 볼록 손실 함수를 가진 비선형 고차원 설정에서 변수 선택에 대해 어떤 이론적 보장을 수립할 수 있는가?
• RQ5 이 프레임워크는 단백질체 질량 분석 스펙트로미터리 데이터에서의 희박한 특징 추출과 같은 실세계 문제에 엄밀하게 적용될 수 있는가?

주요 결과

• 논문은 신호 변수 si 가 관측되지 않으며 관측된 데이터 벡터 xi 에 간접적으로 표현되는 조건에서 진짜 희박한 신호 벡터 z0 의 정확한 복구가 가능하다는 것을 증명한다.
• 엄밀한 오차 한계가 확립되었다: ∥√Σ(ˆz − λ0z0)∥2 ≤ C′ρ,η ⎛⎜⎝(4d(˜DΣK)/m)^1/4 + ε + ε0⎞⎟⎠ 이며, 이는 표본 수 m 이 증가함에 따라 추정 오차가 감소함을 보여준다.
• 이 프레임워크는 일반 볼록 손실 함수와 임의의 볼록 신호 구조에 적용 가능하므로 실세계 문제에 널리 적용 가능하다. Lasso 및 로지스틱 회귀와 같은 응용에 포함된다.
• 반응 변수 yi 가 유한한 노이즈를 가진 단일색인 모델을 만족하는 한, 비선형 관측과 모델 불확실성 조건 하에서도 복구가 가능하다.
• 이론적 결과는 실세계 문제인 단백질체 기반 질량 분석 스펙트로미터리 데이터에서의 희박한 특징 추출에 대해 검증되었으며, 실용적 관련성을 입증한다.
• 분석 결과, 이 방법은 노이즈와 모델 오설정에 대해 강건하며, 성능은 제약 집합 K 의 가우시안 폭과 표본 수 m 에 따라 달라진다.