[논문 리뷰] Random Forest Missing Data Algorithms

Fei Tang, Hemant Ishwaran|arXiv (Cornell University)|2017. 01. 19.

Bayesian Methods and Mixture Models참고 문헌 18인용 수 6

한 줄 요약

이 연구는 결측 데이터에 대한 랜덤 포레스트 기반 보간 알고리즘을 평가하며, 특징 간 상관관계가 높을수록 성능 향상이 뚜렷하다는 것을 입증한다. 방법 중에서 missForest는 가장 높은 정확도를 기록했고, 그 계산 효율성이 뛰어난 변종인 mForest는 정확도 손실이 최소한이면서 최대 10배 빠른 속도 향상을 제공하여 대규모 데이터에 적합하다.

ABSTRACT

Random forest (RF) missing data algorithms are an attractive approach for dealing with missing data. They have the desirable properties of being able to handle mixed types of missing data, they are adaptive to interactions and nonlinearity, and they have the potential to scale to big data settings. Currently there are many different RF imputation algorithms but relatively little guidance about their efficacy, which motivated us to study their performance. Using a large, diverse collection of data sets, performance of various RF algorithms was assessed under different missing data mechanisms. Algorithms included proximity imputation, on the fly imputation, and imputation utilizing multivariate unsupervised and supervised splitting---the latter class representing a generalization of a new promising imputation algorithm called missForest. Performance of algorithms was assessed by ability to impute data accurately. Our findings reveal RF imputation to be generally robust with performance improving with increasing correlation. Performance was good under moderate to high missingness, and even (in certain cases) when data was missing not at random.

연구 동기 및 목표

• 다양한 결측 데이터 메커니즘 하에서 다양한 랜덤 포레스트 보간 알고리즘의 성능을 평가하기 위해.
• 다양한 데이터 설정에서 가장 정확하고 계산 효율성이 뛰어난 RF 기반 보간 방법을 규명하기 위해.
• 결측 데이터 상황에서 특징 상관관계가 보간 정확도에 미치는 영향을 평가하기 위해.
• 고차원 데이터를 위한 계산 효율성이 뛰어난 missForest의 대안인 mForest를 개발하고 테스트하기 위해.
• 데이터 크기, 결측 유형, 계산 제약 조건에 기반한 RF 보간 방법 선택에 실용적인 지침을 제공하기 위해.

제안 방법

• 연구는 여러 RF 보간 알고리즘을 평가한다: 유사도 기반 보간, 온더플라이 보간(OTFI), 그리고 missForest 유형의 방법.
• 새로운 다변량 보간 알고리즘인 mForest가 제안되며, 변수를 그룹화하여 회귀 분석의 수를 p에서 약 1/α로 줄인다. 여기서 α는 그룹 크기 비율이다.
• 60개의 다양한 데이터셋에서 MCAR, MAR, NMAR 메커니즘 하에서 상대적 보간 오차(ℛR(ℐ))를 사용해 보간 정확도를 측정한다.
• 표본 크기(n = 100에서 2000까지), 결측 비율(25%), 상관 구조 등 다양한 조건에서 알고리즘을 테스트한다.
• 실행 시간을 측정하여 계산 효율성을 평가하며, mForest는 각 변수별 별도의 포레스트를 실행하는 데 발생하는 계산 부담을 줄이도록 설계되었다.
• 모의 실험은 상관된 예측 변수와 혼합된 데이터 유형(정규, 지수, 범주형)을 가진 합성 모델을 사용하여 통제된 조건 하에서 강건성을 테스트한다.

실험 결과

연구 질문

• RQ1 특징 상관관계는 랜덤 포레스트 보간 알고리즘의 정확도에 어떻게 영향을 미치는가?
• RQ2 다양한 데이터 유형과 결측 데이터 메커니즘 하에서 보간 정확도 측면에서 가장 우수한 랜덤 포레스트 보간 방법은 무엇인가?
• RQ3 높은 결측 비율과 복잡한 결측 메커니즘 하에서 missForest의 성능은 다른 RF 보간 방법과 비교해 어떻게 되는가?
• RQ4 mForest는 missForest와 유사한 정확도를 달성하면서도 계산 시간을 크게 단축시킬 수 있는가?
• RQ5 대규모 데이터 환경에서 보간 정확도와 계산 효율성 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 모든 RF 알고리즘의 보간 정확도는 특징 상관관계가 증가할수록 뚜렷하게 향상되며, 높은 결측 비율과 복잡한 결측 메커니즘 하에서도 마찬가지다.
• missForest는 항상 가장 높은 보간 정확도를 기록했으며, 다른 RF 기반 방법과 기존의 k-NN, MICE와 같은 접근 방식을 모두 능가했다.
• mForest는 missForest 대비 최대 10배의 계산 시간 단축을 달성했고, 정확도 손실도 미미했으며, 특히 더 큰 그룹 크기(α ≥ 0.1)일수록 유의미한 성과를 보였다.
• 온더플라이 보간(OTFI) 방법, 특히 비지도 랜덤 포레스트 보간은 missForest보다 100~1000배 더 빠르며 우수한 보간 성능을 제공하여 대규모 데이터에 적합하다.
• 결측 데이터 메커니즘이 점점 더 복잡해질수록 성능이 체계적으로 저하되었지만(Related to MCAR에서 NMAR로), RF 방법은 특히 높은 상관관계 하에서는 강건성을 유지했다.
• 이 연구는 상관관계가 RF 보간에서 핵심 요소임을 확인하였으며, 높은 상관관계는 랜덤 포레스트 내부의 적응형 근접 이웃 메커니즘이 데이터의 구조를 더 효과적으로 활용할 수 있도록 한다.