[논문 리뷰] Random ferns method implementation for the general-purpose machine learning

Miron B. Kursa|arXiv (Cornell University)|2012. 02. 06.

Neural Networks and Applications참고 문헌 13인용 수 6

한 줄 요약

이 논문은 rFerns R 패키지의 Random ferns 알고리즘을 확장하여 이진 특성 외에도 범주형 및 수치형 특성을 처리할 수 있도록 하였으며, 원래의 이진 특성 전용 접근 방식을 대체로 배깅을 도입하여 오차 추정과 변수 중요도 향상을 달성하였다. Random Forest보다 약간 낮은 정확도를 보이지만 빠른 학습 속도와 경쟁 가능한 변수 중요도 측정을 제공하여 특정 고속 응용 분야에 적합하다.

ABSTRACT

In this paper I present an extended implementation of the Random ferns algorithm contained in the R package rFerns. It diers from the original by the ability of consuming categorical and numer-ical attributes instead of only binary ones. Also, instead of using simple attribute subspace ensemble it employs bagging and thus produce error approximation and variable importance measure modelled after Random forest algorithm. I also present benchmarks ’ results which show that although Random ferns’ accuracy is mostly smaller than achieved by Random forest, its speed and good quality of importance measure it provides make rFerns a reasonable choice for a specific applications. 1

연구 동기 및 목표

• 이진 특성에 국한된 원래의 제한을 극복하기 위해 Random ferns 알고리즘을 범주형 및 수치형 입력 특성 모두를 지원하도록 확장하는 것.
• Random ferns 프레임워크에 배깅을 통합하여 모델의 강건성과 오차 추정을 향상시키는 것.
• 해석 가능성 향상을 위해 Random Forest의 변수 중요도 측정 방식과 유사한 변수 중요도 측정을 제공하는 것.
• 실제 구현을 고려할 때 Random Forest와의 정확도와 속도의 상호 교환 관계를 평가하는 것.
• 학습 속도와 변수 중요도 측정의 품질이 핵심인 응용 분야에서 rFerns가 Random Forest보다 더 적합한지 확인하는 것.

제안 방법

• 알고리즘은 이진 인코딩이 필요 없이 범주형 및 수치형 특성을 직접 처리할 수 있도록 Random ferns를 확장한다.
• 배깅을 Random ferns 프레임워크에 적용하여 다수의 약한 학습기(weak learners)를 생성하고 일반화 능력 및 오차 추정 능력을 향상시킨다.
• 변수 중요도는 Random Forest의 중요도 지표를 모방한 측정 방식을 사용하며, 특성의 순서를 무작위로 뒤섞었을 때 예측 오차가 얼마나 증가하는지를 기반으로 계산한다.
• 알고리즘은 각 페어(fern)당 랜덤 특성 부분집합 선택 및 이진 분할을 사용하지만, 비이진 특성에 대한 향상된 처리 방식을 포함한다.
• 나무 구축 과정을 피하여 각 페어당 단순한 이진 분류기만 사용함으로써 모델 학습 속도를 높인다.
• 최종 예측은 모든 페어의 출력을 평균하여 결정하며, 배깅을 통해 안정성이 향상된다.

실험 결과

연구 질문

• RQ1 이진 인코딩에 의존하지 않고도 Random ferns가 범주형 및 수치형 특성을 효과적으로 처리할 수 있는가?
• RQ2 Random ferns에 배깅을 통합함으로써 원래 방법에 비해 오차 추정 능력과 모델 강건성이 향상되는가?
• RQ3 rFerns의 변수 중요도 측정 방식은 Random Forest의 측정 방식과 비교해 신뢰성과 품질 면에서 유사한가?
• RQ4 Random Forest와 비교했을 때 rFerns의 정확도와 학습 속도 사이의 상호 교환 관계는 어떠한가?
• RQ5 낮은 정확도를 보일지라도 학습 속도와 중요도 측정의 품질이 핵심인 응용 시나리오에서는 rFerns가 Random Forest보다 더 적합한가?

주요 결과

• 확장된 rFerns의 구현은 이진 인코딩이 필요 없이 범주형 및 수치형 특성을 모두 성공적으로 지원한다.
• 배깅 통합으로 인해 원래 Random ferns에 비해 오차 근사 및 모델 안정성이 향상된다.
• rFerns의 변수 중요도 측정 방식은 Random Forest를 모방하여 신뢰할 수 있는 특성 순위를 제공한다.
• rFerns는 Random Forest에 비해 뚜렷하게 빠른 학습 시간을 기록하여 속도 민감한 응용 분야에 적합하다.
• rFerns의 정확도는 일반적으로 Random Forest보다 낮지만, 속도와 해석 가능성의 이점을 감안하면 차이가 수용 가능하다.
• 벤치마크 결과는 rFerns가 최대 정확도를 우선으로 하지 않는, 빠른 학습과 양호한 중요도 추정이 핵심인 상황에서 합리적인 대안임을 확인한다.