[논문 리뷰] PowerShap: A Power-Full Shapley Feature Selection Method

Jarne Verhaeghe, Jeroen Van Der Donckt외 2명|Ghent University Academic Bibliography (Ghent University)|2022. 06. 16.

Machine Learning and Data Classification인용 수 4

한 줄 요약

PowerShap는 샤플리 값과 통계적 검정력 계산, 가설 검정을 결합하여 효율적으로 정보성 특징을 식별하는 새로운 빠른 워퍼 특징 선택 방법이다. 지능적인 반복 제어와 자동 초파rameter 조정 모드를 통해 최신 워퍼 방법과 유사한 예측 성능를 달성하면서도 실행 시간을 절반 이상 줄여 빠르게 작동한다.

ABSTRACT

Feature selection is a crucial step in developing robust and powerful machine learning models. Feature selection techniques can be divided into two categories: filter and wrapper methods. While wrapper methods commonly result in strong predictive performances, they suffer from a large computational complexity and therefore take a significant amount of time to complete, especially when dealing with high-dimensional feature sets. Alternatively, filter methods are considerably faster, but suffer from several other disadvantages, such as (i) requiring a threshold value, (ii) not taking into account intercorrelation between features, and (iii) ignoring feature interactions with the model. To this end, we present powershap, a novel wrapper feature selection method, which leverages statistical hypothesis testing and power calculations in combination with Shapley values for quick and intuitive feature selection. Powershap is built on the core assumption that an informative feature will have a larger impact on the prediction compared to a known random feature. Benchmarks and simulations show that powershap outperforms other filter methods with predictive performances on par with wrapper methods while being significantly faster, often even reaching half or a third of the execution time. As such, powershap provides a competitive and quick algorithm that can be used by various models in different domains. Furthermore, powershap is implemented as a plug-and-play and open-source sklearn component, enabling easy integration in conventional data science pipelines. User experience is even further enhanced by also providing an automatic mode that automatically tunes the hyper-parameters of the powershap algorithm, allowing to use the algorithm without any configuration needed.

연구 동기 및 목표

• 고차원 데이터셋에서 기존 워퍼 특징 선택 방법의 높은 계산 비용을 해결하기 위해.
• 필터 방법의 한계, 즉 임의의 임계값에 의존하는 것, 상호작용을 모델링하지 못하는 것, 모델별 특징 상호작용을 忽略하는 것을 극복하기 위해.
• 워퍼의 예측 성능 강점과 필터의 빠른 속도를 통계적 검정력과 샤플리 값으로 융합한 방법을 개발하기 위해.
• 자동 조정 모드를 통해 최소한의 설정으로 scikit-learn 워크플로우에 즉시 통합할 수 있도록 하기 위해.
• 다양한 머신러닝 분야에서 효율적인 특징 선택을 위한 확장 가능한 오픈소스 솔루션을 제공하기 위해.

제안 방법

• PowerShap는 모델에 종속되지 않는 해석 가능성을 활용하여 샤플리 값을 사용해 각 특징의 모델 예측 기여도를 정량화한다.
• 특징의 샤플리 값이 무작위 기준 특징과 유의미하게 다를지 여부를 판단하기 위해 통계적 가설 검정을 적용한다.
• 충분한 통계적 검정력을 확보하기 위해 필요한 최소 반복 수를 동적으로 계산하여 불필요한 계산을 줄인다.
• 자동 모드는 검정력 요구 조건에 기반해 하이퍼파rameter(예: 반복 수)를 자동으로 조정하여 사용자 설정 없이도 사용할 수 있도록 한다.
• 이전에 선택된 특징을 제외하고 재실행하는 순환 수렴 모드를 통해 고차원 환경에서 추가 정보성 특징을 탐지하는 데 성능을 향상시킨다.
• 알고리즘은 scikit-learn 호환 추정기로 구현되어 있어 표준 머신러닝 파이프라인에 원활하게 통합될 수 있다.

실험 결과

연구 질문

• RQ1 워퍼 특징 선택 방법이 최신 기법과 유사한 성능을 달성하면서도 계산 시간을 크게 줄일 수 있는가?
• RQ2 샤플리 기반 특징 선택에서 반복 수를 최적화하기 위해 통계적 검정력 계산을 효과적으로 활용할 수 있는가?
• RQ3 PowerShap의 자동 하이퍼파rameter 조정 모드가 사용자 입력 없이도 높은 성능을 유지하는가?
• RQ4 다양한 데이터셋에서 PowerShap가 필터 및 워퍼 기준선 대비 특징 선택 정확도와 실행 속도 측면에서 어떻게 성능을 내는가?
• RQ5 순환 수렴 모드가 고차원적이고 복잡한 데이터셋에서 정보성 특징 탐지 능력을 얼마나 향상시키는가?

주요 결과

• PowerShap는 ShapICant와 같은 최신 워퍼 방법과 유사한 예측 성능를 달성하면서도 벤치마크 실험에서 실행 시간을 최대 절반 이상 줄였다.
• 500개의 특징과 450개의 정보성 특징을 포함한 시뮬레이션에서, PowerShap의 수렴 모드가 노이즈 특징을 추가하지 않고도 정보성 특징 탐지 비율을 38%에서 73%로 높였다.
• PowerShap의 자동 모드는 사용자 설정 없이도 효과적인 특징 선택을 가능하게 하며, 다양한 데이터셋에서 뛰어난 성능를 유지한다.
• 특징 간 상관관계와 모델 상호작용이 중요한 상황에서 PowerShap는 기존 필터 방법보다 특징 선택 품질에서 뛰어난 성능를 보였다.
• 분류 및 회귀 벤치마크 전반에서 강건한 성능을 보이며, 둘 다 빠른 속도와 정확도 향상을 일관되게 달성했다.
• 오픈소스이자 scikit-learn 호환 구현 덕분에 기존 데이터 과학 워크플로우에 쉽게 통합되어 접근성과 보급성이 향상되었다.