[논문 리뷰] Random Forests: some methodological insights

Robin Genuer, Jean‐Michel Poggi외 1명|ArXiv.org|2008. 11. 21.

Neural Networks and Applications참고 문헌 37인용 수 147

한 줄 요약

이 논문은 랜덤 포레스트의 방법론적 통찰을 제공하며, 변수 중요도 추정과 두 단계에 걸친 변수 선택 전략(중요도 점수로 변수를 순서 정한 후 단계적 상향식 포함)에 중점을 두고 있다. 표준 문제와 고차원 문제에 대해 최적의 파라미터 설정을 확인하고, 변수 중요도 지표가 관련 예측 변수를 신뢰성 있게 식별할 수 있음을 입증하며, 특히 예측 성능 향상을 위해 순차적 특성 도입 기법과 조합할 경우에 효과적임을 보여준다.

ABSTRACT

This paper examines from an experimental perspective random forests, the increasingly used statistical method for classification and regression problems introduced by Leo Breiman in 2001. It first aims at confirming, known but sparse, advice for using random forests and at proposing some complementary remarks for both standard problems as well as high dimensional ones for which the number of variables hugely exceeds the sample size. But the main contribution of this paper is twofold: to provide some insights about the behavior of the variable importance index based on random forests and in addition, to propose to investigate two classical issues of variable selection. The first one is to find important variables for interpretation and the second one is more restrictive and try to design a good prediction model. The strategy involves a ranking of explanatory variables using the random forests score of importance and a stepwise ascending variable introduction strategy.

연구 동기 및 목표

• 표준 문제(n >> p)와 고차원 문제(n << p) 설정에서 랜덤 포레스트 파라미터 조정을 위한 실용적 지침을 검증하고 확장하는 것.
• 랜덤 포레스트의 변수 중요도(VI) 지표가 관련 예측 변수를 식별하는 데 있어 행동 및 신뢰성 여부를 조사하는 것.
• 두 단계에 걸친 변수 선택 전략을 제안하고 평가하는 것: VI 점수로 변수를 순서 정한 후 순차적, 상향식으로 포함하여 최적의 예측 성능를 확보하는 것.
• 변수 선택의 이중 목표인 해석 가능성(중요한 변수 식별)과 예측 성능(최소화된 효과적인 모델 구축)을 동시에 달성하는 것.

제안 방법

• 연구는 R 패키지 mlbench의 벤치마크 데이터셋을 사용하며, 분류, 다중분류, 회귀 문제에 대한 실제 및 시뮬레이션 데이터 포함.
• 예측 오차와 변수 중요도 점수에 중점을 두고, 다양한 mtry 값과 표본 크기에서 랜덤 포레스트 성능을 평가.
• 변수 중요도는 랜덤 포레스트에서 일반적으로 사용되는 OOB 오차 감소 방법을 사용하여 계산하며, 예측 변수를 순서 정함.
• 단계적 상향식 변수 도입 전략을 적용: 예측 성능이 정점에 도달할 때까지 중요도가 높은 순서에서 변수를 추가함.
• 표준 및 고차원 데이터셋(예: p >> n인 유전자 발현 데이터 포함)에서 이 방법을 테스트함.
• 통계적 성능은 예측 오차(MSE는 회귀 문제, 오분류율은 분류 문제)와 변수 선택 정확도를 통해 평가함.

실험 결과

연구 질문

• RQ1 표준 랜덤 포레스트 파라미터 설정(mtry 등)이 다양한 데이터 환경(n >> p 대비 n << p)에서 성능에 미치는 영향은 무엇인가?
• RQ2 특히 고차원 설정에서 랜덤 포레스트의 변수 중요도 지표가 진정으로 관련 예측 변수를 식별하는 데 얼마나 신뢰할 수 있는가?
• RQ3 중요도 기반 순서 정렬 후 순차적 포함을 통한 이중 단계 변수 선택 전략이 예측 정확도를 향상시키면서도 해석 가능성은 유지할 수 있는가?
• RQ4 이중 분류, 다중분류, 회귀 문제 및 다양한 노이즈 수준에서 변수 중요도 지표의 성능은 일관된가?

주요 결과

• 랜덤 포레스트의 변수 중요도 지표는 p >> n인 고차원 설정(예: 유전자 발현 데이터)에서도 가장 관련성이 높은 예측 변수를 항상 먼저 순위 매김한다.
• 고차원 문제에서는 상위 순위의 변수 소수만으로도 양호한 예측 성능를 달성하며, 이는 중요도 기반 선택 전략의 유용성을 확인한다.
• 중요도 점수에 기반한 단계적 상향식 변수 포함 전략은 특히 최적의 mtry 값과 조합했을 때 안정적이고 향상된 예측 성능를 제공한다.
• 연구는 √p 또는 p/3(문제 유형에 따라) 근처의 mtry 값이 다양한 데이터셋에서 견고한 성능를 제공함을 확인하며, 기존의 히우리스틱 권고를 지지한다.
• 다중분류 및 회귀 문제에서는 변수 중요도 지표가 가장 예측력 있는 특징을 성공적으로 식별하며, 여러 실행 및 데이터셋 간 일관된 순위를 유지한다.
• OOB 오차 기반 변수 중요도 측정법은 관측 수가 예측 변수 수보다 크게 초과되는 경우에도 여전히 신뢰할 수 있으며, 고차원 특성 선택에 활용될 수 있음을 뒷받침한다.