[논문 리뷰] Enhancing Multi-Class Classification of Random Forest using Random Vector Functional Neural Network and Oblique Decision Surfaces

Rakesh Katuwal, Ponnuthurai Nagaratnam Suganthan|arXiv (Cornell University)|2018. 02. 05.

Neural Networks and Applications참고 문헌 17인용 수 5

한 줄 요약

이 논문은 다중 분류 성능을 향상시키기 위해 새로운 기울기(random) 숲과 랜덤 벡터 기능 링크(RVFL) 네트워크를 조합한 하이브리드 앙상블 분류기를 제안한다. RVFL을 사용해 훈련 데이터를 클래스별 하위 집합으로 분할함으로써, 더 효과적이고 세밀한 기울기 결정 트리 학습이 가능해지며, 표준 기울기 숲 및 기울기 숲보다 높은 정확도를 달성하면서도 계산 비용을 줄였다.

ABSTRACT

Both neural networks and decision trees are popular machine learning methods and are widely used to solve problems from diverse domains. These two classifiers are commonly used base classifiers in an ensemble framework. In this paper, we first present a new variant of oblique decision tree based on a linear classifier, then construct an ensemble classifier based on the fusion of a fast neural network, random vector functional link network and oblique decision trees. Random Vector Functional Link Network has an elegant closed form solution with extremely short training time. The neural network partitions each training bag (obtained using bagging) at the root level into C subsets where C is the number of classes in the dataset and subsequently, C oblique decision trees are trained on such partitions. The proposed method provides a rich insight into the data by grouping the confusing or hard to classify samples for each class and thus, provides an opportunity to employ fine-grained classification rule over the data. The performance of the ensemble classifier is evaluated on several multi-class datasets where it demonstrates a superior performance compared to other state-of- the-art classifiers.

연구 동기 및 목표

• 표준 기울기 숲에서 축에 평행한 분할 방식의 한계를 해결하기 위해, 더 복잡한 결정 경계를 잘 포착할 수 있는 기울기 결정 경계를 도입한다.
• RVFL 네트워크의 빠른 폐쇄형 학습 방식을 활용해 데이터 분할을 수행함으로써, 다중 분류에서의 계산 비용을 줄인다.
• 어려운 고차원 또는 다중 분류 데이터셋에서의 분류 성능을 향상시키기 위해, 어려운 분류 샘플에 대해 세밀한 분류 규칙을 가능하게 한다.
• RVFL의 빠른 성능과 기울기 트리의 표현 능력을 결합한 하이브리드 앙상블을 통해 더 우수한 일반화 성능을 달성한다.
• RVFL 기반 데이터 분할에 의해 이끌어진 얕은 트리와 작은 앙상블 크기로도 높은 성능을 달성할 수 있음을 보여주며, 학습 시간과 자원 사용량을 줄인다.

제안 방법

• 각 노드에서 선형 초평면(기울기 분할)을 사용하는 새로운 기울기 결정 트리 변종을 제안하며, 기존 기울기 숲과 유사하게 지니 불순도 기준을 최적화한다. 그러나 더 나은 경계 근사화 성능을 제공한다.
• 클래스별 패턴에 기반해 RVFL 네트워크를 사용해 훈련 데이터셋을 루트 수준에서 C개의 하위집합으로 분할한다. 여기서 C는 클래스 수이다.
• 각 RVFL로 분할된 하위집합에 대해 C개의 기울기 결정 트리를 학습시으며, 각 클래스의 어려운 분류 또는 혼동되는 샘플에 집중적으로 학습할 수 있도록 한다.
• RVFL로 분할된 기울기 숲의 예측과 원본 RVFL 네트워크의 예측을 융합하여 최종 결정을 내리는 하이브리드 앙상블 분류기(obRaFL)를 구성한다.
• RVFL 학습에 폐쇄형 해법을 적용하여 백프로파게이션 없이 매우 빠른 학습이 가능하게 하여 학습 시간을 크게 단축시킨다.
• 백킹을 적용해 여러 개의 훈련 백을 생성하고, 각 백 내에서 RVFL을 사용해 클래스별로 분할을 생성함으로써 다양성과 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 RVFL로 분할된 데이터에서 학습된 기울기 결정 트리가 표준 기울기 숲 및 기울기 숲보다 다중 분류 정확도를 향상시키는가?
• RQ2 RVFL을 사용한 데이터 분할이 어려운 분류 샘플에서 더 효과적인 학습을 가능하게 하여 일반화 성능을 향상시키는가?
• RQ3 RVFL과 기울기 숲의 하이브리드 앙상블이 기존 최첨단 기법보다 더 높은 정확도를 달성하면서도 계산 비용을 낮출 수 있는가?
• RQ4 제안된 방법이 대규모 또는 고차원 데이터셋에서 성능을 유지하거나 향상시키면서 학습 시간을 얼마나 줄이는가?
• RQ5 트리 깊이, 트리 수, 특성 수 등의 하이퍼파라미터가 제안된 하이브리드 앙상블의 성능에 미치는 영향은 어떠한가?

주요 결과

• 제안된 기울기 숲(obRaF(M))는 10개 데이터셋 평균 정확도 84.36%를 달성하여 표준 기울기 숲(83.07%)과 기울기 숲(83.68%)을 모두 초월했다.
• 하이브리드 앙상블(obRaFL)은 평균 정확도 84.6%를 기록하며, 프레드먼 순위 1.1을 확보하여 전체적으로 뛰어난 성능을 보였다.
• Pendigits 데이터셋에서 하이브리드 앙상블는 단지 300개의 트리와 최대 깊이 6으로 97.15%의 정확도를 달성했으며, 더 깊은 표준 기울기 숲보다 뛰어난 성능을 보였다.
• 얕은 트리와 작은 앙상블 크기에서도 높은 성능를 유지함으로써 계산 효율성을 입증했다.
• RVFL 기반 분할은 혼동되는 샘플을 각 클래스별로 효과적으로 그룹화하여 세밀한 분류 규칙을 가능하게 하여 정확도 향상을 이끌었다.
• 하이브리드 앙상블는 고차원 데이터셋인 Statlog-image(98.27% 정확도)와 Letter(97.58% 정확도)를 포함한 다양한 데이터셋에서 강력한 일반화 성능을 보였다.