[논문 리뷰] Variable selection from random forests: application to gene expression data

Ramón Díaz‐Uriarte, Sara Álvarez de Andrés|ArXiv.org|2005. 03. 16.

Gene expression and cancer classification참고 문헌 48인용 수 45

한 줄 요약

이 논문은 랜덤 포레스트를 사용하여 유전자 발현 데이터에 대한 안정적인 변수 선택 방법을 제안한다. 변수 중요도 측정과 역행 제거를 조합하여 작은, 안정적이고 예측 가능한 유전자 집합을 식별한다. 이 방법은 다중공선성과 불안정성 문제를 해결하면서도 높은 분류 정확도를 유지하며, 재현 가능한 연구를 위해 공개된 R 패키지(varSelRF)를 제공한다.

ABSTRACT

Random forest is a classification algorithm well suited for microarray data: it shows excellent performance even when most predictive variables are noise, can be used when the number of variables is much larger than the number of observations, and returns measures of variable importance. Thus, it is important to understand the performance of random forest with microarray data and its use for gene selection. We first show the effects of changes in parameters of random forest on the prediction error. Then we present an approach for gene selection that uses measures of variable importance and error rate, and is targeted towards the selection of small sets of genes. Using simulated and real microarray data, we show that the gene selection procedure yields small sets of genes while preserving predictive accuracy. Availability: All code is available as an R package, varSelRF, from CRAN, http://cran.r-project.org/src/contrib/PACKAGES.html, or from the supplementary material page. Supplementary information: http://ligarto.org/rdiaz/Papers/rfVS/randomForestVarSel.html

연구 동기 및 목표

• 랜덤 포레스트의 하이퍼파라미터(mtry, ntree, nodesize)가 마이크로어레이 데이터에서 예측 오차에 미치는 영향을 평가하기 위해.
• 작고 상호 중복되지 않는 유전자 집합을 식별하면서도 높은 예측 정확도를 유지하는 유전자 선택 방법을 개발하기 위해.
• 유사한 예측 성능를 보일지라도 다른 실행에서 서로 다른 유전자 목록을 도출하는 불안정성 및 다중성 문제를 해결하기 위해.
• 생물학적으로 해석 가능한 유전자 선택을 위한 실용적이고 재현 가능한 프레임워크를 제공하기 위해.
• 유전체 연구 분야에서의 광범위한 채택을 위해 R 패키지(varSelRF)를 통해 방법을 접근 가능하게 하기 위해.

제안 방법

• 원본 데이터와 순열된 데이터에 기반한 랜덤 포레스트를 학습시켜 변수 중요도 플롯을 생성하여 결과와 유의미하게 연관된 유전자를 식별한다.
• 오차율 모니터링을 기반으로 중요도 점수에 따라 가장 중요도가 낮은 유전자를 반복적으로 제거하는 역행 변수 제거 알고리즘을 적용한다.
• 각 반복에서 제거하는 변수 비율을 조정하여 유전자 집합 크기 선택의 해상도를 제어한다.
• 부트스트랩 샘플 간 변수 중요도 추정치의 일관성을 향상시키기 위해 안정성 파라미터(se)를 사용한다.
• 대규모 마이크로어레이 데이터 처리를 위한 계산 효율성을 향상시키기 위해 Rmpi 및 Snow 패키지를 활용해 병렬 컴퓨팅을 구현한다.
• 성능 및 안정성 평가를 위해 시뮬레이션 데이터와 9개의 실제 마이크로어레이 데이터셋을 모두 활용하여 결과를 검증한다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트 하이퍼파라미터(mtry, ntree, nodesize)의 변화가 마이크로어레이 데이터에서 예측 오차에 어떤 영향을 미치는가?
• RQ2 다중공선성이 존재하는 상황에서도 랜덤 포레스트의 변수 중요도 플롯이 진정으로 생물학적으로 관련된 유전자 집합을 신뢰성 있게 복원할 수 있는가?
• RQ3 랜덤 포레스트 중요도 측정을 기반으로 한 역행 변수 제거가 최신 기법들과 비교해 작은, 정확하고 안정적인 유전자 집합을 도출할 수 있는가?
• RQ4 여러 번의 실행 간에 선택된 유전자 집합의 안정성은 어느 정도이며, 다른 유전자 선택 방법과 비교해 어떻게 다른가?
• RQ5 고차원 유전자 발현 데이터에서 예측 정확도와 생물학적 해석 가능성 간의 균형을 어떻게 유지할 수 있는가?

주요 결과

• 랜덤 포레스트의 기본 mtry 값은 일반적으로 양호한 성능을 보이며, ntree를 2000 이상으로 늘여도 오차율 또는 안정성 향상에 미미한 영향을 미친다.
• 랜덤 포레스트 중요도를 기반으로 한 역행 변수 제거는 매우 작은 유전자 집합을 선택하면서도 몇몇 최신 알고리즘과 비교해도 높은 예측 정확도를 달성한다.
• 예측 변수 간 상관관계가 높은 상황에서도 변수 중요도 플롯이 관련 유전자를 효과적으로 식별하여 다중공선성에 대한 강건성을 입증한다.
• 시뮬레이션 데이터에서 진정한 예측 유전자 전체를 성공적으로 복원하여 민감도와 특이도를 확인한다.
• 유전자 선택의 본질적 불안정성(다중성 문제)이 존재하더라도 제안된 방법은 다중 실행 및 안정성 점검을 병행함으로써 개선된 안정성과 일관성을 보여준다.
• R 패키지 varSelRF는 재현 가능하고 확장 가능한 구현을 가능하게 하며, 병렬 처리로 대규모 데이터셋에서 계산 시간을 크게 단축시킨다.