[논문 리뷰] Deep Forest: Towards An Alternative to Deep Neural Networks

Zhi‐Hua Zhou, Ji Feng|arXiv (Cornell University)|2017. 02. 28.

Machine Learning and Data Classification인용 수 88

한 줄 요약

이 논문은 최소한의 하이퍼파rameter 튜닝으로 깊이 있는 신경망과 경쟁 가능한 성능을 달성하면서도 소규모 데이터셋에서도 잘 작동하는 결합 결정트리 모델인 gcForest를 소개한다. 깊이 있는 신경망과 달리, gcForest는 효율적이고 확장 가능하며 자연스럽게 병렬 처리가 가능하여, 일반적으로 딥러닝이 적용되는 과제에 대한 실현 가능한 대안을 제공한다.

ABSTRACT

In this paper, we propose gcForest, a decision tree ensemble approach with performance highly competitive to deep neural networks. In contrast to deep neural networks which require great effort in hyper-parameter tuning, gcForest is much easier to train. Actually, even when gcForest is applied to different data from different domains, excellent performance can be achieved by almost same settings of hyper-parameters. The training process of gcForest is efficient and scalable. In our experiments its training time running on a PC is comparable to that of deep neural networks running with GPU facilities, and the efficiency advantage may be more apparent because gcForest is naturally apt to parallel implementation. Furthermore, in contrast to deep neural networks which require large-scale training data, gcForest can work well even when there are only small-scale training data. Moreover, as a tree-based approach, gcForest should be easier for theoretical analysis than deep neural networks.

연구 동기 및 목표

• 딥러닝 신경망의 성능를 따라할 수 있지만, 훈련과 튜닝이 더 쉬운 기계학습 모델을 개발하는 것.
• 대규모 훈련 데이터에 대한 의존도를 줄여 소규모 데이터 시나리오에 적합하게 만드는 것.
• 병렬 처리에 적합한 트리 기반 아키텍처를 통해 훈련 효율성과 확장성을 향상시키는 것.
• 딥러닝 신경망에 비해 더 해석 가능하고 이론적으로 분석하기 쉬운 대안을 제공하는 것.

제안 방법

• gcForest는 랜덤 포레스트와 엑스트라 트리의 계층적 캐스케이드 구조를 사용하여 특징 표현을 점진적으로 개선한다.
• 각 단계에서 이전 단계의 출력에서 얻은 특징 표현을 기반으로 고차원 표현을 학습하는 다단계 트리 앙상블을 적용한다.
• 모델은 원본 특징과 이전 단계에서 변환된 특징을 모두 다음 단계의 입력으로 사용하여 깊이 있는 계층적 학습을 가능하게 한다.
• 트리 기반 모델의 내재된 병렬성을 활용하여 GPU 가속을 요구하지 않고도 훈련을 가속화한다.
• 다양한 데이터셋 간에 동일한 하이퍼파rameter 설정을 유지하여 광범위한 튜닝의 필요성을 최소화한다.

실험 결과

연구 질문

• RQ1 트리 기반 앙상블 모델이 다양한 벤치마크 과제에서 딥러닝 신경망과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 gcForest는 거의 동일한 하이퍼파rameter 설정을 사용하여 다양한 데이터 도메인에서 강력한 성능을 유지하는가?
• RQ3 gcForest는 GPU에서 딥러닝 신경망의 훈련 속도를 따라할 수 있는 표준 CPU에서 효율적으로 훈련될 수 있는가?
• RQ4 gcForest는 딥러닝 신경망에 비해 소규모 훈련 데이터셋에 대해 얼마나 잘 일반화되는가?

주요 결과

• gcForest는 이미지 및 표본 데이터를 포함한 다양한 벤치마크 데이터셋에서 딥러닝 신경망과 경쟁 가능한 성능를 달성한다.
• 거의 동일한 하이퍼파rameter 설정을 사용하여 다양한 데이터 도메인에서 높은 정확도를 유지하여 강력한 일반화 능력을 보여준다.
• 표준 PC에서 gcForest의 훈련 시간은 GPU에서 훈련된 딥러닝 신경망과 유사하여 높은 효율성을 입증한다.
• gcForest는 제한된 훈련 데이터에서도 잘 작동하며, 저데이터 환경에서 딥러닝 신경망을 능가하는 성능를 보여준다.