[논문 리뷰] Approximate False Positive Rate Control in Selection Frequency for Random Forest

Ender Konukoğlu, Melanie Ganz|arXiv (Cornell University)|2014. 10. 10.

Neural Networks and Applications참고 문헌 20인용 수 8

한 줄 요약

이 논문은 선택 빈도 분포 모델링을 통해 랜덤 포레스트 특성 선택에서 거짓 양성률을 원칙적이고 계산적으로 경량화된 방법으로 제어하는 방법을 제안한다. 연구자들이 추가 계산 없이도 원하는 수준으로 거짓 양성을 제한할 수 있는 임계값을 설정할 수 있게 하여 신경영상 및 생정보학 적용 분야에서 신뢰성을 크게 향상시킨다.

ABSTRACT

Random Forest has become one of the most popular tools for feature selection. Its ability to deal with high-dimensional data makes this algorithm especially useful for studies in neuroimaging and bioinformatics. Despite its popularity and wide use, feature selection in Random Forest still lacks a crucial ingredient: false positive rate control. To date there is no efficient, principled and computationally light-weight solution to this shortcoming. As a result, researchers using Random Forest for feature selection have to resort to using heuristically set thresholds on feature rankings. This article builds an approximate probabilistic model for the feature selection process in random forest training, which allows us to compute an estimated false positive rate for a given threshold on selection frequency. Hence, it presents a principled way to determine thresholds for the selection of relevant features without any additional computational load. Experimental analysis with synthetic data demonstrates that the proposed approach can limit false positive rates on the order of the desired values and keep false negative rates low. Results show that this holds even in the presence of a complex correlation structure between features. Its good statistical properties and light-weight computational needs make this approach widely applicable to feature selection for a wide-range of applications.

연구 동기 및 목표

• 고차원 데이터 분석에서 랜덤 포레스트 특성 선택의 거짓 양성률 제어 부족 문제를 해결한다. 이는 핵심적인 격차이다.
• 특성 중요도 순위에 대한 히وري스틱 임계값 의존성을 해소하여 해석 가능성과 신뢰성을 높인다.
• 추가 계산 비용 없이 주어진 선택 빈도 임계값에 대한 거짓 양성률을 추정할 수 있는 방법을 개발한다.
• 랩퍼 알고리즘과 안정성 선택에 적합한 원칙적인 임계값 선택을 가능하게 하여 특성 선택의 효율성과 정확도를 향상시킨다.
• 복잡한 특성 상관관계 구조에서도 낮은 거짓 음성률을 유지하여 진정으로 관련된 특성에 대한 민감도를 유지한다.

제안 방법

• 랜덤 포레스트 학습 중 선택 빈도에 대한 근사 확률 모델을 제안하며, 특성 포함를 베르누이 과정으로 간주한다.
• 귀무가설 하에서의 선택 빈도 분포(즉, 관련 없는 특성에 대해)를 베타이항분포 근사로 모델링한다.
• 귀무가설 하에서 선택 빈도의 누적분포를 통합하여 주어진 임계값에서 기대되는 거짓 양성 수를 추정한다.
• 사용자가 지정한 거짓 양성률(예: 0.05 또는 0.10)에 해당하는 임계값을 모델을 사용해 계산함으로써 통계적 제어를 가능하게 한다.
• 최소한의 오버헤드로 기존 워크플로우에 통합하여 실시간 또는 반복적인 특성 선택 파이프라인에 적합하게 한다.
• 통제된 상관관계 구조와 다양한 수의 관련 없는 특성을 가진 시뮬레이션 데이터를 사용하여 모델의 정확도를 검증한다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트 특성 선택에서 주어진 선택 빈도 임계값에 대해 원칙적이고 근사적인 모델이 거짓 양성률을 추정할 수 있는가?
• RQ2 다양한 수준의 특성 상관관계와 고차원 설정에서 제안된 모델이 거짓 양성률을 얼마나 정확히 제어하는가?
• RQ3 원하는 거짓 양성률 제어를 달성하면서도 거짓 음성률을 낮게 유지하는가?
• RQ4 앞서서나 뒤에서 선택하는 등의 랩퍼 알고리즘에 효율적으로 통합될 수 있는가? 이때 추가 계산 비용이 크지 않은가?
• RQ5 특성 간 복잡한 종속성 구조가 존재하는 현실적인 데이터 조건에서 모델의 성능은 어떠한가?

주요 결과

• 제안된 방법은 여러 시뮬레이션 데이터셋에서 원하는 임계값 수준(예: 0.05 또는 0.10) 내에서 거짓 양성률을 성공적으로 제한한다.
• 거짓 음성률이 낮게 유지되어 복잡한 상관관계 구조에서도 진정으로 관련된 특성에 강력한 민감도를 보인다.
• 최소한의 계산 오버헤드로 정확한 거짓 양성률 추정이 가능하여 반복적 특성 선택 워크플로우에 통합하기에 적합하다.
• 특성 상관관계에 대해 강건한 성능을 보이며, 특성 간 의존성이 존재할 때도 거짓 양성률을 잘 제어한다.
• 히وري스틱에 의존하지 않고 원칙적인 임계값 선택이 가능하여 특성 선택 결과의 해석 가능성과 신뢰성을 향상시킨다.
• 신경영상과 같이 특성 공간이 매우 넓고 즉각적인 샘플링이 이루어지는 고차원 문제에 직접 적용 가능하다.