[논문 리뷰] Scalable kernel-based variable selection with sparsistency

Xin He, Junhui Wang외 1명|arXiv (Cornell University)|2018. 02. 26.

Sparse and Compressive Sensing Techniques인용 수 7

한 줄 요약

이 논문은 커널 회귀와 기울기 추정을 바탕으로 하드 스레시딩을 적용하는 확장 가능하고 커널 기반의 변수 선택 방법을 제안한다. 이는 명시적인 모형 가정 없이 渐近적 희박성(asympototic sparsistency)을 달성하며, 어떤 재생 커널 힐버트 공간(RKHS)에서나 작동하며, 일반적인 예측자 효과를 수용하고, 병렬 처리를 통해 차원 수에 비례하는 선형 스케일링을 지원한다. 이론적 보장은 선형 및 가우시안 커널에 대해 제공된다.

ABSTRACT

Variable selection is central to high-dimensional data analysis, and various algorithms have been developed. Ideally, a variable selection algorithm shall be flexible, scalable, and with theoretical guarantee, yet most existing algorithms cannot attain these properties at the same time. In this article, a three-step variable selection algorithm is developed, involving kernel-based estimation of the regression function and its gradient functions as well as a hard thresholding. Its key advantage is that it assumes no explicit model assumption, admits general predictor effects, allows for scalable computation, and attains desirable asymptotic sparsistency. The proposed algorithm can be adapted to any reproducing kernel Hilbert space (RKHS) with different kernel functions, and can be extended to interaction selection with slight modification. Its computational cost is only linear in the data dimension, and can be further improved through parallel computing. The sparsistency of the proposed algorithm is established for general RKHS under mild conditions, including linear and Gaussian kernels as special cases. Its effectiveness is also supported by a variety of simulated and real examples.

연구 동기 및 목표

• 고차원 환경에서 민감하고 확장 가능하며 이론적으로 탄탄한 변수 선택 알고리즘을 개발하는 것.
• 예측자 효과의 일반성과 함께 명시적인 파라미터 모형 가정을 제거하는 것.
• 다양한 재생 커널 힐버트 공간(RKHS)에서 미약한 조건 하에 渐近적 희박성을 보장하는 것.
• 차원 수에 비례하는 선형 스케일링과 병렬 처리 지원을 통해 효율적인 계산을 가능하게 하는 것.
• 최소한의 수정으로 상호작용 선택에까지 확장 가능한 방법을 제공하는 것.

제안 방법

• 방법은 재생 커널 힐버트 공간(RKHS)을 사용하여 회귀 함수와 그 기울기 함수를 커널 기반으로 추정한다.
• 추정된 기울기 함수에 하드 스레시딩을 적용하여 관련 예측자를 식별한다.
• 알고리즘은 선형 및 가우시안 커널에 의해 유도되는 모든 RKHS에 적응 가능하다.
• 차원 수에 비례하는 선형 스케일링을 통해 계산 효율성을 확보하며, 병렬 컴퓨팅으로 추가로 향상된다.
• 가산성 또는 파라미터 형태를 가정하지 않고도 예측자 효과를 비모수적 방식으로 모델링할 수 있다.
• 기울기 추정 단계를 수정하여 쌍별 영향을 포함함으로써 상호작용 선택으로의 확장을 가능하게 한다.

실험 결과

연구 질문

• RQ1 회귀 함수에 특정한 파라미터 모형을 가정하지 않더라도 변수 선택 방법이 희박성을 달성할 수 있는가?
• RQ2 고차원 환경에서 커널 기반 방법을 어떻게 계산적으로 확장 가능하게 만들 수 있는가?
• RQ3 일반적인 RKHS에서 커널 기반 변수 선택의 渐近적 희박성을 보장하는 조건은 무엇인가?
• RQ4 복잡한 비가산 예측자 효과를 다룰 수 있으며 이론적 보장은 유지할 수 있는가?
• RQ5 이 방법은 예측자 간의 상호작용을 어느 정도 탐지할 수 있는가?

주요 결과

• 제안된 알고리즘은 선형 및 가우시안 커널을 포함한 일반 RKHS에서 미약한 정규성 조건 하에 渐近적 희박성을 달성한다.
• 진짜 회귀 함수가 비모수적일 경우에도 이론적 보장 하에 일관된 변수 선택을 보장한다.
• 계산 비용은 예측자 수에 비례하여 선형적으로 증가하므로 고차원 데이터 처리에 효율적이다.
• 알고리즘은 병렬 처리를 지원하여 대규모 데이터셋에서 런타임 성능을 더욱 향상시킨다.
• 시뮬레이션 및 실제 데이터에서의 경험적 결과는 관련 변수 식별에서 뛰어난 성능을 보였다.
• 기울기 추정 단계를 약간 수정함으로써 상호작용 선택으로의 확장이 가능하며, 이론적 및 계산적 이점은 그대로 유지된다.