[논문 리뷰] Computationally Efficient Feature Significance and Importance for Machine Learning Models

Enguerrand Horel, Kay Giesecke|arXiv (Cornell University)|2019. 05. 23.

Explainable Artificial Intelligence (XAI)참고 문헌 30인용 수 8

한 줄 요약

이 논문은 모델 재학습이 필요 없이 기계학습 모델 내 특성의 통계적 유의성과 중요도를 평가하기 위한 계산적으로 효율적이고 비점근적인 방법인 단일 특성 도입 검정(SFIT)을 제안한다. SFIT는 각 특성의 기여도를 특성이 포함된 모델과 포함되지 않은 모델의 손실 차이를 비교하여 평가하며, 이는 유의미한 특성과 고차 상호작용을 강력하게 탐지할 수 있도록 하면서도 다양한 모델 유형과 데이터 분포에서 유한 표본 통계 보장을 유지한다.

ABSTRACT

We develop a simple and computationally efficient significance test for the features of a machine learning model. Our forward-selection approach applies to any model specification, learning task and variable type. The test is non-asymptotic, straightforward to implement, and does not require model refitting. It identifies the statistically significant features as well as feature interactions of any order in a hierarchical manner, and generates a model-free notion of feature importance. Experimental and empirical results illustrate its performance.

연구 동기 및 목표

• 기계학습 모델 내 특성 유의성 테스트를 위한 계산적으로 효율적이고 모델에 종속되지 않는 방법을 개발하는 것.
• 모델 재학습이 필요 없이 계층적으로 통계적으로 유의미한 특성과 고차 상호작용을 식별하는 것.
• 특성 간 상관관계에 민감하지 않으며 데이터나 모델 분포를 가정하지 않는 강력한 비점근적 유의성 검정을 제공하는 것.
• 고차원 설정에서 계산 비용이 높거나 점근적으로 타당한 검정에 대한 실용적이고 구현 친화적인 대안을 제공하는 것.
• 신경망과 같은 복잡한 모델의 설명 가능성을 높이기 위해 핵심 예측 특성과 상호작용을 식별함으로써 해석 가능한 모델 분석을 가능하게 하는 것.

제안 방법

• SFIT는 절편만 있는 모델과 절편에 더해 단일 특성이 포함된 모델 간의 손실 차이를 평가하는 전진 선택 전략을 적용한다.
• 특성이 도입될 때 손실 감소에 기반한 검정 통계량을 계산하여 특성의 경계 기여도를 측정한다.
• 유의성 검정을 위한 임계값을 추정하기 위해 모델 랜덤화 절차를 사용하며, 이는 부트스트랩이나 점근적 근사가 필요 없이 유형 I 오류를 통제한다.
• 계층적으로 특성 조합을 순차적으로 테스트함으로써 고차 상호작용으로 자연스럽게 확장할 수 있다.
• 신경망의 경우, 매개변수 구조를 활용하여 고차 상호작용 테스트를 위한 탐색 공간을 줄인다.
• 특성 조건부 분포에서의 샘플링이 필요 없으며 특정 모델 형태를 가정하지 않아 광범위하게 적용 가능하다.

실험 결과

연구 질문

• RQ1 모델 재학습 없이도 계산적으로 효율적이고 유한 표본에서 타당한 특성 유의성 검정을 개발할 수 있는가?
• RQ2 높은 상관관계와 노이즈 하에서 SFIT는 유의미한 특성과 상호작용을 얼마나 잘 탐지하는가?
• RQ3 SFIT는 LOCO나 노크오프스와 같은 기존 방법에 비해 계산 효율성과 공선성에 대한 강건성 면에서 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 예측 성능 저하 없이 복잡한 모델, 예를 들어 딥 신경망에서 중요한 특성을 신뢰성 있게 식별할 수 있는가?
• RQ5 SFIT의 매개변수 α와 β는 유형 I 오류 통제와 통계적 검정력 사이의 트레이드오프에 어떻게 영향을 미치는가?

주요 결과

• 시뮬레이션 결과, SFIT는 고상관관계가 있는 회귀 설정에서 둘 다 유의미한 특성을 정확히 식별했으며, LOCO는 공선성로 인해 둘 다 유의미하지 않다고 잘못 판단했고, SFIT는 100%의 경우에서 정확히 유의미하다고 판단했다.
• SFIT는 특히 고차원 설정에서 LOCO에 비해 뛰어난 계산 효율성을 보였으며, 뚜렷한 런타임 단축 효과를 보였다.
• 다양한 시뮬레이션 시나리오에서 강력한 유형 I 오류 통제를 유지했으며, 경험적 오류율이 명목상의 α 수준에 매우 가까웠다.
• UCI 신용카드 부도 데이터셋에서 SFIT는 75개 특성 중 24개의 일阶 유의미한 특성을 식별했으며, 두阶 상호작용은 검출되지 않았다.
• 24개의 선택된 특성으로 신경망을 재학습한 결과 성능 저하가 미미했으며, AUC는 0.775에서 0.765로, 균형 잡힌 정확도는 0.707에서 0.701로 각각 약간 감소했다.
• 모델 랜덤화 절차는 임계값 β를 성공적으로 추정하여 실무에서 효과적인 유형 I 오류 통제를 가능하게 했다.