[논문 리뷰] Kernel Feature Selection via Conditional Covariance Minimization

Jianbo Chen, Mitchell Stern외 2명|arXiv (Cornell University)|2017. 07. 04.

Machine Learning and Data Classification참고 문헌 17인용 수 56

한 줄 요약

본 논문은 CCM을 kernel-based 방법으로 소개한다. 감독 특징 선택을 위해 조건부 공분산 연산자의 트레이스를 최소화하여 예측 가능한 특징 부분집합을 선택하며, 일관성 보장과 강력한 실험 성능을 가진다.

ABSTRACT

We propose a method for feature selection that employs kernel-based measures of independence to find a subset of covariates that is maximally predictive of the response. Building on past work in kernel dimension reduction, we show how to perform feature selection via a constrained optimization problem involving the trace of the conditional covariance operator. We prove various consistency results for this procedure, and also demonstrate that our method compares favorably with other state-of-the-art algorithms on a variety of synthetic and real data sets.

연구 동기 및 목표

• Y의 예측력을 최대화하는 특성의 부분집합을 선택하는 것으로 지도 학습 특징 선택을 동기화하고 형식화한다.
• 의존성/예측 척도로 조건부 공분산 연산자의 트레이스에 기초한 기준을 제안한다.
• 샘플 크기가 커짐에 따라 기준의 경험적 추정치의 일관성을 보인다.
• 완화 및 경사 방법을 통해 효율적으로 특징을 선택하기 위한 최적화 프레임워크를 제공한다.
• 합성 및 실제 데이터에서 최첨단 특징 선택 방법과 경쟁력 있는 성능을 시연한다.

제안 방법

• RKHS에서 조건부 공분산 연산자를 정의하고 그 트레이스를 조건부 의존성과 예측 오차와 연결한다.
• 크기가 m인 부분집합 T에 대해 Tr(Sigma_YY|X_T)를 최소화하는 방식으로 특징 선택을 형식화한다(단변량 Y).
• 중심화된 커널 행렬과 Y를 포함하는 트레이스의 커널 기반 경험적 추정치를 사용하여 해를 계산 가능하게 하는 목표 함수 y^T (G_{X_T}+nεI)^{-1} y로 이끈다.
• {0,1}^d의 이진 선택자 w를 이용한 연속 완화를 적용하고, 간단한 휴리스틱으로 투사 기울기 방법을 통해 이산 특징 집합을 복원한다.
• 계산 효율화를 위한 개선 사항으로 소프트 제약, 보조 변수에 의한 행렬 역행렬 회피, 그리고 복잡도 감소를 위한 커널 근사(무작위 특징들)를 논의한다.
• 이론적 결과를 제공: ε_n→0 및 ε_n n→∞ 하에서 전역 최적화자의 일관성.

실험 결과

연구 질문

• RQ1 조건부 공분산 연산자의 트레이스가 특징 선택에서 의존성 측정과 예측력의 통합 기준으로 작용할 수 있는가?
• RQ2 특징 부분집합에 대해 Tr(Σ_YY|X_T)를 최소화하는 것이 샘플 크기가 커짐에 따라 일관된 특징 선택을 이끌어내는가?
• RQ3 연속 완화를 통해 이산 부분집합 선택 문제를 효과적으로 최적화하는 방법은 성능을 희생하지 않고 무엇인가?
• RQ4 합성 및 실제 데이터에서 CCM은 기존의 커널 기반 특징 선택 방법(예: BAHSIC)과 어떻게 성능이 비교되는가?
• RQ5 이 방법은 비선형 관계에 강건하고 고차원 실세계 작업에 확장 가능한가?

주요 결과

• CCM은 조건부 의존성과 예측 오차를 연결하는 원칙적이고 커널 기반의 기준을 제공한다.
• Tr(Σ_YY|X_T)의 경험적 추정가가 n이 커짐에 따라 실제 특징 부분집합을 선택하는 데 일관적임이 증명된다.
• 경사 방법을 포함한 연속 완화를 통한 최적화는 특징 선택을 계산적으로 용이하게 하며, 상위 가중치를 선택하여 이산 부분집합으로 복원한다.
• 실험 결과 CCM이 합성 태스크에서 비선형 관계를 필요로 하는 경우 BAHSIC, mRMR, MI를 포함한 최첨단 방법보다 우수하거나 동등한 성능을 보인다.
• 12개의 실세계 벤치마크에서 CCM은 선택된 특징으로 커널-SVM 정확도가 경쟁 비선형 특징 선택 방법들보다 더 높은 경우가 많다.