[논문 리뷰] Feature Importance Ranking for Deep Learning

Maksymilian Wojtas, Ke Chen|arXiv (Cornell University)|2020. 10. 18.

Machine Learning and Data Classification참고 문헌 23인용 수 76

한 줄 요약

심층학습에서 최적의 고정 크기 특징 서브셋을 발견하고 특징 중요도를 순위화하기 위한 dual-net 아키텍처(연산자와 선택자)를 제안하며, 조합 최적화를 다루기 위해 교대로 학습하고 확률적 로컬 탐색을 수행한다; 합성, 벤치마크 및 실 데이터셋 전반에서 우수한 FIR 및 특징 선택 성능을 시연한다.

ABSTRACT

Feature importance ranking has become a powerful tool for explainable AI. However, its nature of combinatorial optimization poses a great challenge for deep learning. In this paper, we propose a novel dual-net architecture consisting of operator and selector for discovery of an optimal feature subset of a fixed size and ranking the importance of those features in the optimal subset simultaneously. During learning, the operator is trained for a supervised learning task via optimal feature subset candidates generated by the selector that learns predicting the learning performance of the operator working on different optimal subset candidates. We develop an alternate learning algorithm that trains two nets jointly and incorporates a stochastic local search procedure into learning to address the combinatorial optimization challenge. In deployment, the selector generates an optimal feature subset and ranks feature importance, while the operator makes predictions based on the optimal subset for test data. A thorough evaluation on synthetic, benchmark and real data sets suggests that our approach outperforms several state-of-the-art feature importance ranking and supervised feature selection methods. (Our source code is available: https://github.com/maksym33/FeatureImportanceDL)

연구 동기 및 목표

• 딥러닝에서 populationwise feature importance ranking(FIR) 문제를 다룬다.
• 선택자로부터 부분집합 후보를 학습하는 연산자와 함께 dual-net 아키텍처를 개발한다.
• 확률적 로컬 탐색으로 강화된 교대 학습 알고리즘으로 연산자와 선택자를 공동으로 학습한다.
• 최적 서브셋 내에서 특징 중요도를 순위화하면서 좋은 예측 성능을 유지한다.
• 다수의 데이터셋에서 최첨단 FIR 및 감독 특징 선택 방법보다 우수하다는 것을 입증한다.

제안 방법

• 감독 학습용 연산자 네트와 최적 특징 서브셋을 제안하는 선택자 네트워크를 갖는 dual-net 아키텍처를 도입한다.
• FIR을 고정 크기 서브셋에서 모든 인스턴스에 대한 평균 연산자 성능을 최대화하는 것으로 형식화한다.
• 두 손실 L_O(연산자 손실)을 후보 서브셋에 대해, L_S(선택자 손실)이 서브셋으로부터 연산자 성능을 예측하도록 모델 학습을 수행한다.
• 탐험과 활용을 포함하는 교대 학습 절차를 사용하여 후보 서브셋을 생성한다. 여기에는 확률적 로컬 탐색과 그래디언트 기반 순위화가 포함된다.
• 배치 시 선택자를 사용하여 최적 서브셋을 식별하고, 그 서브셋을 사용해 테스트 데이터에 대한 예측을 수행하는 연산자.
• 합성, 벤치마크 및 실데이터셋 전반에 걸친 평가를 제공하고, 다수의 FIR 및 특징 선택 기준과 비교한다.

실험 결과

연구 질문

• RQ1 대상 서브셋 크기가 고정된 경우 딥러닝에서 FIR을 효과적으로 수행하려면?
• RQ2 예측 성능을 유지하면서 최적의 특징 서브셋을 공동으로 학습하고 특징 중요도를 순위화하는 듀얼-넷 아키텍처가 가능한가?
• RQ3 확률적 로컬 탐색을 도입하면 조합적 특징 서브셋 공간에서의 최적화가 향상되는가?
• RQ4 제안된 접근법은 다양한 데이터셋에서 최첨단 FIR 및 감독 특징 선택 방법과 어떻게 비교되는가?

주요 결과

• 제안된 dual-net 접근법은 합성, 벤치마크, 실데이터에서 여러 최첨단 FIR 및 감독 특징 선택 방법을 능가한다.
• 선택자는 특징 서브셋에서 연산자 성능을 예측하도록 학습하여 최적 서브셋 탐색을 안내한다.
• 연산자는 선택자가 생성한 최적 서브셋을 사용하여 예측 작업을 학습하고, 서브셋 품질과 모델 성능을 모두 향상시킨다.
• 실험은 다수의 데이터셋에서 관련 특징의 정확한 식별과 의미 있는 FIR 점수(그래디언트)를 보여준다.
• 이 방법은 populationwise FIR 및 특징 선택에 적용 가능성을 보여주며, 대규모 데이터셋으로의 확장 가능성이 있다.