[논문 리뷰] High-Dimensional Feature Selection by Feature-Wise Non-Linear Lasso

Makoto Yamada, Wittawat Jitkrittum외 2명|arXiv (Cornell University)|2012. 02. 02.

Statistical Methods and Inference인용 수 12

한 줄 요약

이 논문은 입력과 출력 간의 비선형적 의존성을 커널 기반 독립성 측도를 사용하여 포착하는 기능별 커널화된 라소 방법을 제안한다. 전역 최적 해를 효율적으로 계산할 수 있도록 함으로써, 수천 개의 기능으로도 효과적으로 확장되며 비중복적이면서 강한 의존성을 가지는 기능을 식별할 수 있다.

ABSTRACT

The goal of supervised feature selection is to find a subset of input features that are responsible for predicting output values. The least absolute shrinkage and selection operator (Lasso) allows computationally efficient feature selection based on linear dependency between input features and output values. In this paper, we consider a feature-wise kernelized Lasso for capturing non-linear input-output dependency. We first show that, with particular choices of kernel functions, non-redundant features with strong statistical dependence on output values can be found in terms of kernel-based independence measures. We then show that the globally optimal solution can be efficiently computed; this makes the approach scalable to high-dimensional problems. The effectiveness of the proposed method is demonstrated through feature selection experiments with thousands of features.

연구 동기 및 목표

• 기존 라소가 입력 특징과 출력 변수 간의 비선형 관계를 포착하는 데 한계가 있음을 해결하기 위해.
• 전역 최적성을 유지하면서 고차원 특징 선택에 대해 계산적으로 효율적인 방법을 개발하기 위해.
• 커널 기반 독립성 측도를 사용하여 비중복적이며 강한 통계적 의존성을 가지는 특징을 식별하기 위해.
• 라소의 적용 범위를 선형 모델을 초월하여 비선형 및 고차원 설정으로 확장하기 위해.

제안 방법

• 비선형 의존성을 커널 함수를 통해 모델링하는 기능별 커널화된 라소 설정을 제안한다.
• 출력에 대한 강한 통계적 의존성을 가지는 특징을 식별하기 위해 커널 기반 독립성 측도를 사용한다.
• 비중복적이며 높은 관련성을 가지는 특징을 선택할 수 있도록 특정한 커널 함수 선택을 적용한다.
• 전역 최적 해를 효율적으로 계산하는 최적화 알고리즘을 유도하여 확장성을 확보한다.
• 각 특징이 커널 유도 관련성에 따라 개별적으로 정규화되는 기능별 수축 접근법을 적용한다.
• 비선형 변환에도 불구하고 전역 최적해로 수렴하도록 볼록 최적화 기법을 활용한다.

실험 결과

연구 질문

• RQ1 커널화된 라소는 고차원 설정에서 입력 특징과 출력 변수 간의 비선형 의존성을 효과적으로 식별할 수 있는가?
• RQ2 제안된 방법은 대규모 문제에 대해 계산적으로 효율적이면서도 전역 최적성을 달성하는가?
• RQ3 커널 기반 독립성 측도는 선형 방법에 비해 비중복적이며 높은 관련성을 가지는 특징을 얼마나 잘 선택하는가?
• RQ4 해결 품질을 저하시키지 않고도 이 방법은 수천 개의 특징을 가진 데이터셋에 얼마나 잘 확장되는가?

주요 결과

• 제안된 방법은 커널 기반 독립성 측도를 사용하여 출력에 강한 통계적 의존성을 가지는 비중복 특징을 성공적으로 식별한다.
• 전역 최적 해는 효율적으로 계산 가능하여 수천 개의 특징을 가진 고차원 데이터셋으로의 확장이 가능하다.
• 선형 모델이 놓치는 비선형 입력-출력 관계를 포착함으로써 선형 라소보다 성능이 뛰어나다.
• 실증 실험을 통해 이 방법이 고차원 데이터를 포함한 특징 선택 과제에서 효과적임을 확인한다.