[논문 리뷰] The Random Forest Classifier in WEKA: Discussion and New Developments for Imbalanced Data

Mario Amrehn, Firas Mualla외 3명|arXiv (Cornell University)|2018. 12. 19.

Imbalanced Data Classification Techniques참고 문헌 8인용 수 15

한 줄 요약

이 논문은 WEKA 데이터 마이닝 툴킷을 위한 균형 잡힌 랜덤 포레스트(BRF) 분류기 확장을 제안하여 의료 및 실세계 데이터셋에서의 클래스 불균형 문제를 해결한다. 각 트리당 소수 클래스와 다수 클래스의 인스턴스를 균형 있게 만드는 부트스트래핑 샘플링을 수정함으로써, 전반적인 정확도를 훼손시키지 않은 채 소수 클래스 예측 성능을 향상시킨다. 이는 불균형한 의료 데이터셋에서 교차 검증을 통해 표준 RF 및 가중치가 부여된 RF보다 우수한 성능을 보였다.

ABSTRACT

Data analysis and machine learning have become an integrative part of the modern scientific methodology, providing automated techniques to predict further information based on observations. One of these classification and regression techniques is the random forest approach. Those decision tree based predictors are best known for their good computational performance and scalability. However, in case of severely imbalanced training data, as often seen in medical studies' data with large control groups, the training algorithm or the sampling process has to be altered in order to improve the prediction quality for minority classes. In this work, a balanced random forest approach for WEKA is proposed. Furthermore, the prediction quality of the unmodified random forest implementation and the new balanced random forest version for WEKA are evaluated against reference implementations in R. Two-class problems on balanced data sets and imbalanced medical studies' data are investigated. A superior prediction quality using the proposed method for imbalanced data is shown compared to the other three techniques.

연구 동기 및 목표

• 소수 클래스가 과소 예측되는 불균형한 의료 데이터셋에서 표준 랜덤 포레스트 분류기의 열악한 성능을 해결하기 위해.
• 각 트리의 훈련 세트에서 소수 클래스와 다수 클래스의 균형 잡힌 표현을 보장하기 위해 부트스트래핑 샘플링을 수정한 균형 잡힌 랜덤 포레스트(BRF) 분류기를 WEKA 프레임워크에 확장하기 위해.
• 불균형 및 균형 잡힌 데이터셋에서 표준 RF, 가중치가 부여된 RF, R 기반 BRF 구현과의 성능 비교를 위해.
• 심각하게 불균형한 데이터에서 전반적인 정확도는 유지하면서 소수 클래스의 진짜 양성률(TPR)을 크게 향상시키는가를 입증하기 위해.
• 의료 진단과 같은 실세계 응용 분야에서 공정한 분류를 지원하는 실용적이고 오픈소스의 WEKA 확장 기능을 제공하기 위해.

제안 방법

• BRF 분류기는 표준 랜덤 포레스트의 부트스트래핑 샘플링 과정을 수정하여, 각 클래스의 샘플 크기를 소수 클래스의 크기로 설정함으로써 각 트리의 훈련 세트에서 균형 잡힌 표현을 보장한다.
• 각 트리에 대해 부트스트래핑 샘플링을 시행할 때, 각 클래스의 인스턴스 수를 소수 클래스의 크기로 제한함으로써 다수 클래스의 과도한 표현을 방지한다.
• 트리 구축 과정은 분할에 정보 이득을 사용하고, 가지치기 없는 결정 트리를 생성하며, 최종 예측은 모든 트리의 다数 투표에 기반한다.
• WEKA 3.7.12에 통합하기 위해 기존의 랜덤 포레스트 클래스를 확장하여, 클래스 균형 잡힌 샘플링을 제어하는 매개변수를 추가한다.
• 성능 평가에는 다양한 트리 수(20, 100, 2000)를 사용한 10겹 교차 검증을 적용하며, 다수 클래스 및 소수 클래스의 TPR, CCR, 평균 TPR을 측정한다.
• 성능는 표준 RF, 가중치가 부여된 RF, R 기반 BRF 구현과 비교하여 제안된 방법의 일관성과 우수성을 검증한다.

실험 결과

연구 질문

• RQ1 WEKA의 표준 랜덤 포레스트와 비교해 볼 때, 균형 잡힌 랜덤 포레스트 분류기가 불균형한 의료 데이터셋에서 소수 클래스 예측 성능을 향상시키는가?
• RQ2 WEKA에 구현된 제안된 BRF는 R 기반 참조 구현 및 기타 RF 변종과 비교해 성능 면에서 어떻게 다른가?
• RQ3 트리 훈련 중 부트스트래핑 샘플링을 균형 잡음으로써 다수 클래스에 대한 편향을 어느 정도 감소시킬 수 있는가?
• RQ4 BRF는 소수 클래스의 TPR을 크게 향상시키는 동시에 높은 전반적인 정확도를 유지하는가?
• RQ5 제안된 BRF 확장 기능은 의료 및 실세계 응용 분야에서 공정한 기계 학습을 지원하기 위해 WEKA 프레임워크에 효과적으로 통합될 수 있는가?

주요 결과

• HY1 데이터셋에서 BRF-W 버전은 100개의 트리로 95.4%의 소수 클래스 TPR을 기록했으며, 2,000개 트리일 경우에도 95.4%를 기록하여 표준 RF(88.1% 및 86.6%)와 BRF-R(92.6% 및 91.7%)를 뛰어넘었다.
• HY2 데이터셋에서 BRF-W는 100개 트리일 경우 97.0%의 소수 클래스 TPR을 기록했고, 2,000개 트리일 경우 97.1%를 기록하여 RF-W(88.3% 및 88.7%)와 RF-R(86.9% 및 88.1%)를 초월했다.
• ESS 데이터셋에서 BRF-W는 100개 트리일 경우 93.5%, 2,000개 트리일 경우 93.9%의 소수 클래스 TPR을 기록하여 RF-W(90.4% 및 89.4%)와 RF-R(86.8% 및 87.8%)를 능가했다.
• 균형 잡힌 데이터셋(SPAM, EG)에서는 BRF-W 버전이 높은 성능을 유지하였으며, TPR_avg는 각각 94.8%와 99.3%를 기록하여 균형 잡힌 데이터에서 성능 저하가 없음을 보였다.
• 모든 불균형 데이터셋에서 BRF-W의 평균 TPR(TPR_avg)는 다른 방법들보다 일관되게 높았으며, HY1에서는 96.4%, HY2에서는 97.7%, ESS에서는 95.4%를 기록했다.
• 제안된 WEKA 내 BRF는 전반적인 정확도를 유지하거나 약간 감소시키는 동안 소수 클래스 예측 성능에서 뛰어난 성능을 보였으며, 이는 불균형 데이터에 대한 효과성을 확인한다.