[논문 리뷰] Is rotation forest the best classifier for problems with continuous features?

Anthony Bagnall, Flynn, M.외 4명|arXiv (Cornell University)|2018. 09. 18.

Time Series Analysis and Forecasting참고 문헌 45인용 수 30

한 줄 요약

이 논문은 실수값 데이터셋에 대한 기본 분류기로 회전 숲( rotation forest)의 성능을 평가하며, 분류 오차, AUC, 로그 손실 측면에서 랜덤 포레스트, 서포트 벡터 기반 분류기(SVMs), 신경망 등 다른 알고리즘들을 광범위하게 비교한 결과, 회전 숲이 뚜렷이 뛰어난 성능을 보임을 입증한다. 저자들은 확장성 향상을 위해 계약 기반 버전을 제안하여 훈련 속도를 높이고 정확도 손실를 최소화하며, 계산 자원이 허용하는 경우 실수값 특성 문제에 대해 회전 숲을 기본 알고리즘으로 사용할 것을 결론 내린다.

ABSTRACT

In short, our experiments suggest that yes, on average, rotation forest is better than the most common alternatives when all the attributes are real-valued. Rotation forest is a tree based ensemble that performs transforms on subsets of attributes prior to constructing each tree. We present an empirical comparison of classifiers for problems with only real-valued features. We evaluate classifiers from three families of algorithms: support vector machines; tree-based ensembles; and neural networks tuned with a large grid search. We compare classifiers on unseen data based on the quality of the decision rule (using classification error) the ability to rank cases (area under the receiver operating characteristic) and the probability estimates (using negative log likelihood). We conclude that, in answer to the question posed in the title, yes, rotation forest is significantly more accurate on average than competing techniques when compared on three distinct sets of datasets. Further, we assess the impact of the design features of rotation forest through an ablative study that transforms random forest into rotation forest. We identify the major limitation of rotation forest as its scalability, particularly in number of attributes. To overcome this problem we develop a model to predict the train time of the algorithm and hence propose a contract version of rotation forest where a run time cap is imposed {\em a priori}. We demonstrate that on large problems rotation forest can be made an order of magnitude faster without significant loss of accuracy. We also show that there is no real benefit (on average) from tuning rotation forest. We maintain that without any domain knowledge to indicate an algorithm preference, rotation forest should be the default algorithm of choice for problems with continuous attributes.

연구 동기 및 목표

• 실수값 특성만을 가진 문제에 대해 회전 숲이 최고의 분류기인지 여부를 결정하는 것.
• 서포트 벡터 기반 분류기(SVMs), 트리 기반 앙상블, 신경망과 같은 주요 분류기 가족들과의 성능 비교를 통한 회전 숲의 성능 평가.
• 회전 숲의 설계 요소들이 성능에 미치는 영향을 분석하기 위한 탈락적 연구(ablative study) 수행.
• 특히 고차원 데이터에서의 낮은 확장성 문제를 해결하기 위해, 사전에 훈련 시간을 제한하는 계약 기반 훈련 기반을 개발함으로써 회전 숲의 확장성 향상.
• 영역 지식이 없는 상황에서 회전 숲을 기본 알고리즘으로 사용할 것인지의 문제에 대한 주장

제안 방법

• 서포트 벡터 기반 분류기(RBF 및 이차형), 트리 기반 앙상블(랜덤 포레스트, 그래디언트 부스팅), 신경망(1~2개의 은닉층)으로 구성된 3가지 가족의 10개 분류기와 회전 숲을 경험적으로 비교.
• 각 분류기의 최적 모델을 도출하기 위해 약 1000개의 하이퍼파라미터 조합을 포함하는 큰 그리드 서치를 수행하고, 훈련 데이터에서 10겹 교차 검증을 통해 최적의 모델을 선정.
• 검증되지 않은 테스트 데이터를 사용하여 분류 오차, 균형 오차, ROC 곡선 아래 면적(AUC), 음의 로그 우도의 4가지 지표로 모델 성능 평가.
• 랜덤 포레스트를 회전 숲으로 변형하는 탈락적 연구를 통해, 회전과 특성 부분집합 선택의 영향을 고립적으로 분석.
• 사전에 훈련 시간을 제한하는 계약 기반 훈련 메커니즘을 개발하고, 훈련 시간을 예측하는 모델을 구축하여 조기 종료를 유도.
• 회전 숲의 기본 scikit-learn 호환 버전을 구현 및 공개하여 접근성 향상

실험 결과

연구 질문

• RQ1 실수값 데이터셋에서 평균적으로 회전 숲은 다른 분류기들보다 유의미하게 더 정확한가?
• RQ2 회전 숲의 성능 향상에 기여하는 주요 설계 요소는 무엇인가?
• RQ3 계약 기반 훈련 기반은 정확도 손실 없이 대규모 문제에 대한 회전 숲의 사용 가능성을 높일 수 있는가?
• RQ4 하이퍼파라미터 튜닝은 회전 숲에 유익한가, 아니면 기본 설정에 대해 강건한가?
• RQ5 새로운 실수값 분류 문제에 대해 회전 숃을 기본 분류기로 사용할 것인가?

주요 결과

• 3개의 벤치마크 데이터셋(200개 이상의 실수값 문제 포함)에서 평균적으로 모든 경쟁 분류기들보다 회전 숲이 뚜렷이 뛰어난 성능을 보이며, 특히 AUC와 로그 손실 측면에서 두각을 나타낸다.
• 탈락적 연구 결과, 랜덤 포레스트 대비 회전 숲의 뛰어난 성능은 주로 특성 회전과 부분집합 선택이 주요 원인임을 확인했다.
• 회전 숲의 하이퍼파라미터 튜닝은 평균적으로 유의미한 이득을 주지 않아, 기본 설정에 대해 강건함을 시사한다.
• 계약 기반 버전의 회전 숲은 대규모 문제에서 훈련 시간을 최대 10배까지 단축시키며, 정확도 손실는 최소화하여 고차원 데이터에 적용 가능한 가능성을 보였다.
• 작은 문제에서는 계약이 거의 영향을 주지 않지만, 대규모 문제에서는 계약 시간이 길수록 정확도가 향상되며, 특히 시계열 유사 데이터에서는 더욱 두드러진다.
• 강력한 성능에도 불구하고, 주요 툴킷에 통합되지 않아서나 기본 설정(예: 10개의 트리)이 열악하여 회전 숲은 여전히 활용도가 낮다. 저자들은 새로운 구현체를 통해 이를 해결했다.