[논문 리뷰] The All Relevant Feature Selection using Random Forest

Miron B. Kursa, Witold R. Rudnicki|arXiv (Cornell University)|2011. 06. 25.

Gene expression and cancer classification참고 문헌 19인용 수 45

한 줄 요약

이 논문은 유전자 발현 데이터를 포함한 시뮬레이션 및 실세계 데이터에서 이상적으로 가까운 성능을 달성하며, 강한 관련성과 약한 관련성을 모두 갖는 특징을 식별하는 랜덤 포레스트 기반 래퍼 방법인 Boruta를 제안한다. 이 방법은 특징 중요도 순서를 무작위로 뒤섞은 결과를 기반으로 한 히وري스틱 유의성 검정을 사용하여 진정으로 관련성이 있는 특징과 잡음 사이를 구분한다.

ABSTRACT

In this paper we examine the application of the random forest classifier for the all relevant feature selection problem. To this end we first examine two recently proposed all relevant feature selection algorithms, both being a random forest wrappers, on a series of synthetic data sets with varying size. We show that reasonable accuracy of predictions can be achieved and that heuristic algorithms that were designed to handle the all relevant problem, have performance that is close to that of the reference ideal algorithm. Then, we apply one of the algorithms to four families of semi-synthetic data sets to assess how the properties of particular data set influence results of feature selection. Finally we test the procedure using a well-known gene expression data set. The relevance of nearly all previously established important genes was confirmed, moreover the relevance of several new ones is discovered.

연구 동기 및 목표

• 고차원 데이터셋에서 강한 관련성과 약한 관련성을 모두 갖는 특징을 식별할 수 있는 강력한 래퍼 기반 특징 선택 방법을 개발하는 것.
• 랜덤 포레스트 기반 특징 중요도가 강한 특징에 의해 가려진 약한 관련 특징을 탐지하는 데 성능을 평가하는 것.
• 다양한 데이터 유형에서 진정으로 관련성이 있는 특징과 우연히 유사한 특징을 구분하는 Boruta 히وري스틱의 민감도와 신뢰성 평가.
• 특히 유전자 발현 데이터셋을 포함한 실세계 생물학적 데이터에 대해 이 방법을 검증하여 이전에 확인된 바가 없는 생물학적으로 의미 있는 특징을 발견하는 것.

제안 방법

• Boruta 알고리즘은 특징 값이 무작위로 뒤섞일 때 정확도의 평균 감소를 기반으로 특징 중요도를 계산하기 위해 랜덤 포레스트 분류기를 사용한다.
• 원본 특징 중요도를 그림자 특징(원본 특징의 무작위로 뒤섞인 복제본)의 중요도와 비교하여 유의성 검정을 도입한다.
• 다중 반복 동안 그림자 특징의 최대 중요도를 초월하는 특징은 '중요'로 분류된다.
• 중요도 추정치의 안정성과 분산 감소를 위해 트리 수를 점차 증가시키며 랜덤 포레스트 학습을 다중 실행한다.
• 일관되게 그림자 특징보다 높은 중요도를 보이는 특징을 식별하기 위해 히وري스틱 임계값 설정 절차를 적용한다.
• 이 방법은 분류기 독립적이지만, 약한 관련 특징에 민감한 랜덤 포레스트의 특성 덕분에 특히 효과적이다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트 기반 래퍼 방법은 고차원 데이터에서 약한 관련성을 갖는 특징까지 포함해 모든 관련 특징을 효과적으로 식별할 수 있는가?
• RQ2 시뮬레이션 데이터셋에서 Boruta 히وري스틱은 이상 기준 알고리즘에 비해 특징 선택 정확도에서 어떻게 비교되는가?
• RQ3 차원 수, 관련 특징 수, 잡음 수준 등의 데이터셋 특성이 Boruta 알고리즘 성능에 어떤 영향을 미치는가?
• RQ4 실제 유전자 발현 데이터에서 Boruta 방법은 기존에 알려진 생물학적으로 관련성이 있는 유전자를 얼마나 잘 복원하는가? 그리고 새로운 유전자를 발견할 수 있는가?
• RQ5 랜덤 포레스트 앙상블의 트리 수는 Boruta에서 특징 선택의 민감도와 안정성에 어떤 영향을 미치는가?

주요 결과

• 시뮬레이션 데이터셋에서 Boruta 히وري스틱은 이상 기준 알고리즘과 매우 유사한 성능을 보이며, 모든 관련 특징을 식별하는 데 높은 정확도를 보였다.
• 강한 관련 특징과 복잡한 데이터 구조에서 가려진 약한 관련 특징을 포함해, 모든 강한 관련 특징과 대부분의 약한 관련 특징을 성공적으로 탐지했다.
• 반시뮬레이션 골럽 유전자 발현 데이터셋에서 Boruta는 원본 데이터와 거의 동일한 결과를 도출했으며, 데이터 복잡도 증가에 따라 감지된 중요한 유전자 수가 약간 감소하는 정도였다.
• 실제 골럽 데이터셋에서 Boruta는 이전에 확인된 모든 중요한 유전자를 재확인했고, 이전 방법으로는 발견되지 않은 150개 이상의 새로운 잠재적 관련 유전자를 발견했다.
• 실제 생물학적 데이터에서 Boruta의 가짜 양성에 대한 민감도는 낮았으며, 뚜렷한 가짜 양성은 발견되지 않아 생물학적으로 의미 있는 맥락에서의 강건성을 시사했다.
• 랜덤 포레스트 앙상블의 트리 수는 특히 약한 관련 특징에 대해 탐지 민감도에 크게 영향을 미쳤으며, 중요도 추정치의 안정화를 위해 더 큰 앙상블이 필요했다.