[논문 리뷰] Nonparametric Feature Selection by Random Forests and Deep Neural Networks

Xiaojun Mao, Liuhua Peng외 1명|arXiv (Cornell University)|2022. 01. 18.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 커널 기반의 두 표본 검정을 사용하여 랜덤 포레스트와 딥 네URAL 네트워크를 결합한 비모수적 특성 선택 방법인 NFSRD를 제안한다. 이는 기존 방법에 비해 특성 탐지 성능, 거짓 긍정 제어 및 계산 효율성에서 뛰어난 성능을 보이며, 정규성 조건 하에서 이론적 보장이 있다.

ABSTRACT

Random forests are a widely used machine learning algorithm, but their computational efficiency is undermined when applied to large-scale datasets with numerous instances and useless features. Herein, we propose a nonparametric feature selection algorithm that incorporates random forests and deep neural networks, and its theoretical properties are also investigated under regularity conditions. Using different synthetic models and a real-world example, we demonstrate the advantage of the proposed algorithm over other alternatives in terms of identifying useful features, avoiding useless ones, and the computation efficiency. Although the algorithm is proposed using standard random forests, it can be widely adapted to other machine learning algorithms, as long as features can be sorted accordingly.

연구 동기 및 목표

• 많은 불필요 특성을 포함한 고차원 데이터셋에서 랜덤 포레스트의 계산 비효율성 문제를 해결하기 위해.
• 나무 분할에 대한 강력한 가정 없이 이론적으로 타당한 비모수적 특성 선택 방법을 개발하기 위해.
• 비모수적 두 표본 검정을 통해 랜덤 포레스트와 딥 네URAL 네트워크를 통합하여 특성 선택 정확도를 향상시키기 위해.
• 선택 정확도를 유지하면서도 서브샘플링을 통해 계산 효율성을 향상시키기 위해.
• 표준 랜덤 포레스트를 초월해 다른 기계학습 알고리즘에 적용 가능한 일반화 가능한 프레임워크를 제공하기 위해.

제안 방법

• 이 방법은 특성 분포가 반응 클래스 간에 어떻게 다를지 평가하기 위해 딥 네URAL 네트워크를 사용하여 비모수적 두 표본 검정을 수행한다.
• 재생 핵 힐버트 공간(RKHS)에서 최대 평균 차이(MMD)를 적용하여 비모수적 가정 없이 분포 차이를 측정한다.
• MMD 통계량을 사용한 유의성 검정을 통해 특성 선택을 수행하며, 귀무가설(차이 없음) 하에서 p-값을 계산한다.
• 계산 비용을 줄이기 위해 서브샘플링을 적용하여 대규모 데이터셋에 대한 확장성을 향상시키면서도 통계적 검정력을 유지한다.
• 기존 방법들인 최소 깊이 선택과 달리 중앙값 기반 분할이나 나무 구조에 대한 강력한 가정이 필요하지 않다.
• 정규성 조건 하에서 일致성 및 검정 통계량의 점근 정규성을 포함한 이론적 성질을 확립한다.

Figure 1: Boxplots for the computation time of different methods based on 200 Monte Carlo simulations, where the features are independently generated. The horizontal segments within the boxplots represent the median computation time. “BRT” represent Boruta, “MVS” stands for the minimum-depth variabl

실험 결과

연구 질문

• RQ1 딥 네URAL 네트워크와 랜덤 포레스트를 기반으로 한 비모수적 특성 선택 방법이 기존의 순열 기반 및 깊이 기반 방법보다 관련 특성을 더 잘 식별할 수 있는가?
• RQ2 제안된 NFSRD 방법은 합성 및 실세계 데이터셋에서 거짓 발견률과 진짜 양성 탐지 성능 측면에서 어떻게 성능을 발휘하는가?
• RQ3 서브샘플링은 특성 선택 정확도를 훼손하지 않으면서 계산 효율성을 얼마나 향상시키는가?
• RQ4 정규성 조건 하에서 제안된 방법의 이론적 성질, 특히 일치성과 점근 분포에 관해 어떤가?
• RQ5 이 프레임워크는 표준 랜덤 포레스트를 초월해 다른 기계학습 알고리즘에 일반화할 수 있는가?

주요 결과

• NFSRD는 특히 다수의 유용하지 않은 특성을 포함한 고차원 설정에서 유용한 특성을 식별하면서도 불필요한 특성을 피하는 데 있어 기존 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 초전도체 데이터셋에서 NFSRD는 α=0.01일 때 13개의 특성을 선택하고, α=0.05일 때는 10개를 선택했으며, 모두 XGBoost가 식별한 상위 20개의 가장 중요한 특성에 포함되었다. 반면 BRT는 유의미성과 관계없이 모든 특성을 선택했다.
• 서브샘플링은 계산 비용과 메모리 사용량을 줄였으며, 정확도는 유지하면서 대규모 데이터셋에 대한 확장성을 확보했다.
• 이론적 분석을 통해 특성 선택 절차의 일치성과 정규성 조건 하에서 MMD 검정 통계량의 점근 정규성을 확인했다.
• 특성 간 상관관계에 대해 강건하며, 최소 깊이 기반 접근법과 달리 나무 분할에 대한 강력한 가정이 필요하지 않다.
• NFSRD 프레임워크는 일반화 가능하며, 특성의 순위 매기기나 정렬이 가능하다면 다른 기계학습 알고리즘에 적용 및 변형할 수 있다.