[논문 리뷰] A Performance-Driven Benchmark for Feature Selection in Tabular Deep Learning

Valeriia Cherepanova, R. V. Levin외 6명|arXiv (Cornell University)|2023. 11. 10.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 표본 기반의 성능 기준 벤치마크를 제안하며, 표본 데이터에 인위적인 외부 특성(노이즈, 손상, 이차항)을 추가하여 표본 딥러닝에서의 특성 선택을 평가한다. 이를 통해 신경망용 입력 기울기 기반 Lasso의 유사체인 Deep Lasso를 제안하며, 특히 손상되거나 엔지니어링된 특성에서의 성능을 향상시켜 최종 모델의 정확도와 내구성을 높인다.

ABSTRACT

Academic tabular benchmarks often contain small sets of curated features. In contrast, data scientists typically collect as many features as possible into their datasets, and even engineer new features from existing ones. To prevent overfitting in subsequent downstream modeling, practitioners commonly use automated feature selection methods that identify a reduced subset of informative features. Existing benchmarks for tabular feature selection consider classical downstream models, toy synthetic datasets, or do not evaluate feature selectors on the basis of downstream performance. Motivated by the increasing popularity of tabular deep learning, we construct a challenging feature selection benchmark evaluated on downstream neural networks including transformers, using real datasets and multiple methods for generating extraneous features. We also propose an input-gradient-based analogue of Lasso for neural networks that outperforms classical feature selection methods on challenging problems such as selecting from corrupted or second-order features.

연구 동기 및 목표

• 표본 딥러닝에서의 특성 선택을 위한 현실적이고 성능 기반의 벤치마크 부족 문제를 해결한다.
• 다양한 유형의 외부 특성(노이즈, 손상된 특성, 이차항)을 포함한 실제 세계 데이터셋에서 특성 선택 방법을 평가한다.
• 딥러닝과 호환되는 특성 선택 방법을 개발하고 검증하여 최종 신경망 성능을 향상시킨다.
• 기존의 고전적 특성 선택 방법이 실제 적용에서 흔한 복잡한 특성 설정에서 실패하는 이유를 입증한다.
• 미래의 딥 테이블러 특성 선택 연구를 안내하기 위해 재현 가능한 벤치마크를 구축한다.

제안 방법

• 실제 표본 데이터셋을 기반으로 하여 랜덤 노이즈, 손상된 특성(예: 뒤섞임 또는 변형된 특성), 이차항 특성(예: 쌍별 상호작용)을 포함한 세 가지 유형의 외부 특성을 추가하여 벤치마크를 구성한다.
• 딥 네트워크(MLP, Transformer, XGBoost, Random Forest)의 최종 성능을 주요 평가 지표로 하여 특성 선택 방법을 평가한다.
• Lasso를 영감으로 삼은 기울기 기반의 미분 가능한 특성 선택 방법인 Deep Lasso를 제안하며, 이는 모델 예측에 대한 기울기 영향에 따라 특성을 페널티 처리한다.
• 입력 기울기에 대해 미분 가능한 L1 페널티를 적용하여 엔드 투 엔드 최적화를 가능하게 하며, 정보가 없는 특성을 식별하고 억제한다.
• 비교를 위해 표본 트랜스포머의 어텐션 맵을 추가적인 특성 선택 신호로 활용한다.
• 다양한 기준 방법(Lasso, LassoNet, AGL, XGBoost, Random Forest)을 적용하고 동일한 벤치마크에서 성능을 비교한다.

Figure 1: Performance of FT-Transformer, MLP and XGBoost models when trained on data with random extra features. The X-axes indicates the percentage of uninformative features in the dataset and the Y-axes depict accuracy for classification problems and negative RMSE for regression datasets, so highe

실험 결과

연구 질문

• RQ1 실제 표본 데이터와 딥 네트워크에서 학습할 경우, 기존의 특성 선택 방법들이 정보가 많은 특성을 효과적으로 식별할 수 있는가?
• RQ2 특성 손상이나 고차원 특성 엔지니어링과 같은 현실적인 도전 상황에서 특성 선택 방법의 성능는 어떠한가?
• RQ3 Deep Lasso처럼 기울기 기반의 미분 가능한 특성 선택 방법이 딥 테이블러 학습에서 기존의 비미분 가능한 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ4 표본 트랜스포머의 어텐션 메커니즘이 전통적 방법 대비 특성 선택 성능에 얼마나 기여하는가?
• RQ5 특성 선택 방법의 성능 격차는, 대체로 사용되는 추정 지표가 아닌 최종 신경망 정확도 기반 평가에서 얼마나 뚜렷한가?

주요 결과

• Deep Lasso는 MLP 및 Transformer 모델에서 모두 최고의 최종 성능을 기록하며, 모든 벤치마크 설정에서 모든 기준 방법을 앞서 간다.
• 손상된 특성에서 Deep Lasso는 MLP를 사용할 경우 테스트 AUC 0.805±0.002, FT를 사용할 경우 0.819±0.001를 기록하며, Lasso(0.807±0.001)와 XGBoost(0.803±0.003)를 뚜렷이 앞선다.
• 이차항 특성 설정에서 Deep Lasso는 MLP를 사용할 경우 테스트 AUC 0.805±0.002, FT를 사용할 경우 0.819±0.001를 기록하며, 이어지는 최고 성능 방법인 AGL보다 0.01 이상 높은 AUC를 확보한다.
• 고전적 방법인 Lasso와 XGBoost는 손상된 특성에서 성능이 저하되며, AUC가 각각 0.793±0.003과 0.803±0.003로 떨어져 내구성이 떨어지는 것으로 나타났다.
• 표본 트랜스포머의 어텐션 맵을 활용한 방법은 경쟁 가능한 성능를 보였지만, 특히 노이즈가 많거나 손상된 환경에서는 Deep Lasso를 능가하지 못했다.
• 벤치마크는 특성 선택 성능가 메서드 간에 상당한 격차가 있음을 드러내며, 오직 Deep Lasso만이 모든 어려운 특성 유형에서 높은 성능를 유지함을 확인했다.

Figure 2: Percent of random, corrupted, and second-order features selected by different feature selection algorithms. Importance rank correlation refers to pair-wise feature importance Spearman correlation averaged across all feature selection algorithms and datasets. Random features are less often