[논문 리뷰] Towards Large-scale and Ultrahigh Dimensional Feature Selection via Feature Generation

Mingkui Tan, Ivor W. Tsang외 1명|arXiv (Cornell University)|2012. 09. 24.

Face and Expression Recognition인용 수 4

한 줄 요약

이 논문은 반한무한계획법을 통해 대규모 초고차원 특징 선택을 가능하게 하는 적응형 특징 스케일링(AFS) 기법과 특징 생성 방법을 조합하여 제안한다. AFS 모델을 스케일링 편향을 다룰 수 있도록 재구성하고 정확한 최악의 경우 분석을 가능하게 함으로써, 전역 수렴성을 확보하고 구조적 그룹 선택을 지원하며, 다양한 데이터셋에서 일반화 성능과 학습 효율성 면에서 기존 방법들을 능가한다.

ABSTRACT

In many real-world applications such as text mining, it is desirable to select the most relevant features or variables to improve the generalization ability, or to provide a better interpretation of the prediction models. In this paper, a novel adaptive feature scaling (AFS) scheme is proposed by introducing a feature scaling vector d ∈ [0, 1] m to alleviate the bias problem brought by the scaling bias of the diverse features. By reformulating the resultant AFS model to semi-infinite programming problem, a novel feature generating method is presented to identify the most relevant features for classification problems. In contrast to the traditional feature selection methods, the new formulation has the advantage of solving extremely high-dimensional and large-scale problems. With an exact solution to the worst-case analysis in the identification of relevant features, the proposed feature generating scheme converges globally. More importantly, the proposed scheme facilitates the group selection with or without special structures. Comprehensive experiments on a wide range of synthetic and real-world datasets demonstrate that the proposed method achieves better or competitive performance compared with the existing methods on (group) feature selection in terms of generalization performance and training efficiency. The C++ and MATLAB implementations of our algorithm can be available at

연구 동기 및 목표

• 다양한 특징들이 일관되지 않은 크기를 보이는 고차원 특징 선택 문제에서의 스케일링 편향 문제를 해결한다.
• 텍스트 마이닝 등과 같은 응용 분야에서 흔한 대규모 및 초고차원 데이터셋에서 효율적이고 정확한 특징 선택을 가능하게 한다.
• 개별 및 구조적 그룹 특징 선택을 모두 지원하는 전역 수렴성 보장 방법을 개발한다.
• 기존 특징 선택 기법들과 비교해 일반화 성능과 학습 효율성을 향상시킨다.

제안 방법

• 이질적인 특징 간의 스케일링 편향을 완화하기 위해 d ∈ [0, 1]^m 인 적응형 특징 스케일링 벡터를 도입한다.
• 무한 개의 제약 조건을 다룰 수 있도록 AFS 모델을 반한무한계획법 문제로 재구성하여 강건한 최적화를 가능하게 한다.
• 최적화 프레임워크 내에서 최악의 경우 분석을 통해 가장 관련성이 높은 특징을 식별하는 특징 생성 방법을 개발한다.
• 정확한 최악의 경우 분석을 활용해 특징 선택 과정의 전역 수렴성을 보장한다.
• 예측된 그룹 구조가 있는지 여부에 관계없이 비구조적 및 구조적 그룹 선택을 모두 지원한다.
• 실제 구현 및 평가를 위해 C++ 및 MATLAB로 알고리즘을 구현한다.

실험 결과

연구 질문

• RQ1 고차원 특징 공간에서의 스케일링 편향 문제를 효과적으로 완화하여 특징 선택 정확도를 향상시킬 수 있는가?
• RQ2 반한무한계획법 재구성은 초고차원 환경에서 확장 가능하고 전역 수렴성을 보장하는 특징 선택을 가능하게 하는가?
• RQ3 일반화 성능과 학습 속도 면에서 제안된 방법이 기존 특징 선택 기법들보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 예측된 그룹 구조가 있는지 여부에 관계없이 구조적 그룹 선택을 어떻게 다루는가?
• RQ5 최악의 경우 분석 프레임워크는 관련 특징을 식별하는 데 있어 강건성과 수렴성을 보장하는가?

주요 결과

• 제안된 방법은 합성 및 실세계 데이터셋 모두에서 기존 특징 선택 기법들과 비교해 더 나은 또는 경쟁 가능한 일반화 성능을 달성한다.
• 알고리즘은 특히 대규모 및 초고차원 환경에서 뛰어난 학습 효율성을 보여준다.
• 반한무한계획법 재구성에서 정확한 최악의 경우 분석을 통해 전역 수렴성이 보장된다.
• 예측된 그룹 구조가 있는지 여부에 관계없이 유연한 그룹 선택 기능을 지원한다.
• 다양한 데이터셋에 대한 실증 결과는 적응형 특징 스케일링 및 특징 생성 프레임워크의 효과성을 확인한다.
• C++ 및 MATLAB 구현체는 공개되어 있어 재현성과 실용적 응용을 가능하게 한다.