[논문 리뷰] Generalized Fisher Score for Feature Selection

Quanquan Gu, Zhenhui Li외 1명|arXiv (Cornell University)|2012. 02. 14.

Face and Expression Recognition인용 수 460

한 줄 요약

이 논문은 혼합정수프로그래밍으로 재구성된 이차제약선형프로그래밍(QCLP)으로 재구성된, 기존 피셔 스코어의 하한을 최대화하는 일반화된 피셔 스코어를 제안한다. 절단면 알고리즘과 번갈아가며 다중변량 리지 회귀 및 투영 경사하강법을 사용하여, 기준 피셔 스코어 및 최신 기술보다 벤치마크 데이터셋에서 뛰어난 성능을 발휘한다.

ABSTRACT

Fisher score is one of the most widely used supervised feature selection methods. However, it selects each feature independently according to their scores under the Fisher criterion, which leads to a suboptimal subset of features. In this paper, we present a generalized Fisher score to jointly select features. It aims at finding an subset of features, which maximize the lower bound of traditional Fisher score. The resulting feature selection problem is a mixed integer programming, which can be reformulated as a quadratically constrained linear programming (QCLP). It is solved by cutting plane algorithm, in each iteration of which a multiple kernel learning problem is solved alternatively by multivariate ridge regression and projected gradient descent. Experiments on benchmark data sets indicate that the proposed method outperforms Fisher score as well as many other state-of-the-art feature selection methods.

연구 동기 및 목표

• 기존 피셔 스코어가 독립적으로 특성 선택하는 데서 비효율적인 특성 조합 선택 문제를 해결하기 위해.
• 피셔 기준의 하한을 최대화하는 공동 특성 선택 방법을 개발하기 위해.
• 특성 선택 문제를 혼합정수프로그래밍 문제로 공식화하기 위해.
• 절단면 알고리즘과 번갈아가며 최적화 단계를 사용하여 문제를 해결하기 위해.
• 피셔 스코어 및 기타 최신 기술보다 뛰어난 성능을 보여주기 위해.

제안 방법

• 이 방법은 특성 선택을 혼합정수프로그래밍 문제로 공식화하여 기존 피셔 스코어의 하한을 최대화한다.
• 문제는 이차제약선형프로그래밍(QCLP) 문제로 재구성된다.
• 절단면 알고리즘이 사용되며, 각 반복에서 다중 커널 학습 문제를 해결한다.
• 각 반복 내에서 다중변량 리지 회귀와 투영 경사하강법이 번갈아가며 최적화를 위해 사용된다.
• 알고리즘은 피셔 스코어의 하한을 강화함으로써 특성 조합을 반복적으로 개선한다.

실험 결과

연구 질문

• RQ1 공동 특성 선택 방법이 분류 성능 측면에서 독립적 특성 스코어링보다 뛰어나게 될 수 있는가?
• RQ2 피셔 스코어의 하한을 최대화하는 것이 표준 피셔 스코어보다 더 나은 특성 조합을 이끌어낼 수 있는가?
• RQ3 비볼록 특성 선택 문제인 혼합정수프로그래밍 문제를 절단면 접근법과 번갈아 최적화를 통해 효과적으로 해결할 수 있는가?
• RQ4 벤치마크 데이터셋에서 제안된 방법은 다른 최신 기술과 비교해 어떻게 성능을 내는가?
• RQ5 일반화된 피셔 스코어는 다양한 머신러닝 데이터셋에서 강인하고 확장 가능한가?

주요 결과

• 제안된 일반화된 피셔 스코어 방법은 테스트된 모든 벤치마크 데이터셋에서 표준 피셔 스코어보다 높은 분류 정확도를 달성한다.
• 예측 성능 측면에서 여러 최신 기술보다 뛰어난 성능을 보인다.
• 다중변량 리지 회귀와 투영 경사하강법을 번갈아 사용하는 절단면 알고리즘이 QCLP 재구성 문제를 효과적으로 해결한다.
• 특성 관련성과 상관성을 함께 최적화함으로써 더 정보가 풍부한 특성 조합을 성공적으로 식별한다.
• 실증 결과는 일반화된 피셔 스코어를 통한 공동 특성 선택이 독립적 특성 스코어링 대비 일관된 개선을 이끌어낸다는 것을 확인한다.