[논문 리뷰] OpenFE: Automated Feature Generation with Expert-level Performance

Tianping Zhang, Zheyu Zhang외 6명|arXiv (Cornell University)|2022. 11. 22.

Machine Learning and Data Classification인용 수 7

한 줄 요약

OpenFE는 FeatureBoost를 사용하여 후보 특징의 효율적인 점진적 평가를 하고, 확장 가능한 특징 선택을 위한 이중 단계의 정제 전략을 사용함으로써 전문가 수준의 성능을 달성하는 자동 특징 공학 프레임워크이다. Kaggles 대회에서 OpenFE를 적용한 모델은 각각 99.3% 및 99.6%의 팀을 능가했으며, 인간 간섭을 최소화한 표본 데이터에서 최신 기술 수준의 성능을 입증하였다.

ABSTRACT

The goal of automated feature generation is to liberate machine learning experts from the laborious task of manual feature generation, which is crucial for improving the learning performance of tabular data. The major challenge in automated feature generation is to efficiently and accurately identify effective features from a vast pool of candidate features. In this paper, we present OpenFE, an automated feature generation tool that provides competitive results against machine learning experts. OpenFE achieves high efficiency and accuracy with two components: 1) a novel feature boosting method for accurately evaluating the incremental performance of candidate features and 2) a two-stage pruning algorithm that performs feature pruning in a coarse-to-fine manner. Extensive experiments on ten benchmark datasets show that OpenFE outperforms existing baseline methods by a large margin. We further evaluate OpenFE in two Kaggle competitions with thousands of data science teams participating. In the two competitions, features generated by OpenFE with a simple baseline model can beat 99.3% and 99.6% data science teams respectively. In addition to the empirical results, we provide a theoretical perspective to show that feature generation can be beneficial in a simple yet representative setting. The code is available at https://github.com/ZhangTP1996/OpenFE.

연구 동기 및 목표

• 표본 기반 기계 학습에서 수동 특징 공학의 높은 계산 비용과 비효율성 문제를 해결하기 위해.
• 광범위한 영역 지식 없이도 전문가 수준의 성능를 달성하거나 초월하는 자동 특징 생성을 가능하게 하기 위해.
• 대규모 표본 데이터셋에서 수백만 개의 후보 특징을 평가하는 데서 발생하는 확장성의 한계를 극복하기 위해.
• 일致한 조건에서 기존 방법을 재현하고 평가함으로써 공정하고 재현 가능한 벤치마크를 제공하기 위해.
• 딥 러닝 시대에도 특징 생성의 가치를 경험적이고 이론적으로 검증하기 위해.

제안 방법

• FeatureBoost: 기본 특징 세트의 모델 예측을 사용하여 새로운 특징을 점진적으로 평가하는 기울기 부스팅 기반 방법으로, 전체 재학습을 방지한다.
• 이중 단계 정제: 먼저 대규모로 효과가 없는 특징을 걸러내고, 이후에 성능 기반으로 고성능 특징을 정밀하게 선별하는 조잡한 후 정밀한 전략이다.
• 확장-축소 프레임워크: 변환 연산(예: GroupByThenMean)을 통해 후보 특징을 생성하고, 성능 기반 필터링을 통해 이를 축소한다.
• 효율적인 평가: 전체 모델 재학습이 아닌 모델 출력에 대한 점진적 학습을 사용하여 계산 비용을 수십만 배 감소시킨다.
• 확장 가능한 특징 공간 탐색: 조합 폭발을 관리하기 위해 히우리스틱 및 통계적 정제를 활용한다.
• 딥 러닝 모델과의 통합: 최신 DNN에 특징의 영향을 평가하여 기존 모델 외부에서도 일반화 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 자동 특징 생성이 전문가 수준의 수동 특징 공학과 비슷한 성능을 달성할 수 있는가?
• RQ2 전체 모델 재학습 없이도 새로운 특징의 점진적 가치를 평가할 수 있는가?
• RQ3 수백만 개의 후보 특징을 효율적으로 정제하여 가장 효과적인 특징을 식별할 수 있는가?
• RQ4 고도로 발전한 딥 네트워크를 사용할 때에도 특징 생성이 여전히 이점을 제공하는가?
• RQ5 대표적인 기계 학습 환경에서 특징 생성의 경험적 및 이론적 영향은 무엇인가?

주요 결과

• OpenFE는 10개의 벤치마크 데이터셋에서 모든 기준에서 통계적으로 유의미한 AUC 및 정확도 향상을 보이며 모든 베이스라인 방법을 능가했다.
• 두 개의 주요 Kaggles 대회에서 OpenFE를 적용한 모델은 각각 99.3% 및 99.6%의 참가 팀을 능가했다.
• OpenFE가 생성한 특징들은 Kaggles 대회에서 1등 팀의 특징과 비교해도 성능가능성이 동등하거나 뛰어났다.
• FeatureBoost 방법은 전체 재학습 대비 평가 시간을 90% 이상 단축시켜 확장 가능한 특징 탐색을 가능하게 했다.
• 이중 단계 정제 전략은 효과가 없는 특징을 조기에 걸러내어 메모리 및 계산 비용을 감소시켜 확장성을 향상시켰다.
• 경험적 결과는 최신 기술 수준의 딥 네트워크를 사용할 때에도 특징 생성이 여전히 성능 향상에 기여한다는 것을 보여주었다.