[논문 리뷰] Supervised Feature Selection via Dependence Estimation

Le Song, Alex Smola외 3명|ArXiv.org|2007. 04. 20.

Neural Networks and Applications참고 문헌 14인용 수 35

한 줄 요약

이 논문은 분류 및 회귀 작업 전반에 걸쳐 관련 특징을 효과적으로 걸러내는 데 사용할 수 있는, 특징과 레이블 간의 종속성을 측정하기 위해 힐버트-슈미트 독립성 기준(HSIC)을 사용하는 지도 학습 특징 선택 방법인 BAHSIC을 제안한다. 백워드-엘리미네이션 알고리즘을 활용함으로써, 밀도 추정 또는 분류기별 튜닝이 필요 없이도 뛰어난 성능을 달성한다.

ABSTRACT

We introduce a framework for filtering features that employs the Hilbert-Schmidt Independence Criterion (HSIC) as a measure of dependence between the features and the labels. The key idea is that good features should maximise such dependence. Feature selection for various supervised learning problems (including classification and regression) is unified under this framework, and the solutions can be approximated using a backward-elimination algorithm. We demonstrate the usefulness of our method on both artificial and real world datasets.

연구 동기 및 목표

• 분류 및 회귀 작업에 모두 적용 가능한 통합적이고 원리적인 지도 학습 특징 선택 프레임워크를 개발하기 위해.
• 기존 방법들이 밀도 추정에 의존하거나 특정 학습 문제에 국한되는 한계를 해결하기 위해.
• 특정 분류기와 분리된 계산적으로 효율적이고 해석 가능한 필터 기반 방법을 제공하기 위해.
• HSIC의 균일 수렴을 통한 종속성 탐지 및 일반화에 대한 이론적 보장을 확보하기 위해.
• 다양한 데이터 설정에서 정보성 있는 특징을 선택하기 위해 HSIC를 활용한 백워드-엘리미네이션의 효과성을 입증하기 위해.

제안 방법

• 입력 특징과 레이블 간의 종속성을 비모수적 측정으로서 힐버트-슈미트 독립성 기준(HSIC)을 사용하여 밀도 추정을 피함.
• 특징 선택을 특징 부분집합에 대한 HSIC의 최대화 문제로 공식화하여, 레이블을 가장 잘 예측하는 특징을 식별함.
• HSIC 점수에 기반해 가장 종속성이 낮은 특징을 반복적으로 제거하는 백워드-엘리미네이션 알고리즘(BAHSIC)을 사용함.
• 커널 행렬을 사용하여 HSIC를 추정함: $\mathrm{HSIC}(\mathcal{F}, \mathcal{G}, \Pr_{xy}) = \frac{1}{m(m-3)} \left[ \mathrm{tr}(\mathbf{K}\mathbf{L}) + \frac{\mathbf{1}^\top \mathbf{K} \mathbf{1} \mathbf{1}^\top \mathbf{L} \mathbf{1}}{(m-1)(m-2)} - \frac{2}{m-2} \mathbf{1}^\top \mathbf{K} \mathbf{L} \mathbf{1} \right] $, 여기서 $\mathbf{K}$ 와 $\mathbf{L}$ 은 특징과 레이블에 대한 커널 행렬임.
• 단일 프레임워크 내에서 이진, 다중 클래스, 그리고 회귀 문제를 처리하기 위해 레이블 공간에 다양한 커널 함수를 적용함.

실험 결과

연구 질문

• RQ1 HSIC 기반 종속성 측정이 지도 학습에서 특징과 레이블 간의 선형 및 비선형 관계를 효과적으로 포착할 수 있는가?
• RQ2 HSIC를 활용한 백워드-엘리미네이션은 특징 선택 품질과 안정성 측면에서 프론트워드 선택보다 어떻게 비교되는가?
• RQ3 HSIC 기반 특징 선택은 분류 및 회귀를 포함한 다양한 유형의 지도 학습 작업으로 일반화될 수 있는 정도는 어느 정도인가?
• RQ4 실제 및 시뮬레이션 데이터셋에서 기존의 필터 기반 방법보다 예측 정확도와 강인성 측면에서 성능이 뛰어나게 되는가?
• RQ5 밀도 추정 또는 분류기별 최적화 없이도 HSIC 기반 선택이 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 백워드-엘리미네이션은 전체 특징 집합의 맥락에서 특징을 더 잘 평가할 수 있기 때문에, 프론트워드 선택보다 특징 선택 품질에서 뛰어난 성능을 보임.
• 인공 및 실제 데이터셋 모두에서 뛰어난 성능을 달성하여 다양한 데이터 유형과 작업 유형에서 강인함을 입증함.
• HSIC는 임의의 비선형 종속성을 탐지하고 균일 수렴 보장을 포함한 종속성 탐지 및 일반화에 대한 이론적 조건을 충족함.
• 특수한 작업 수정이나 one-vs-all 전략 없이도 이진, 다중 클래스, 회귀 문제에 모두 적용 가능함.
• 특정 커널 선택을 사용할 경우, 많은 기존 특징 선택 방법이 특수한 경우로 포함되므로 일반성의 증거가 됨.
• HSIC를 활용한 백워드-엘리미네이션 전략은 대체적인 그레디 방법에 비해 더 나은 일반화와 더 안정적인 특징 부분집합을 도출함.