[논문 리뷰] Deep Forest

Zhi-Hua Zhou, Ji Feng|arXiv (Cornell University)|2017. 02. 28.

Neural Networks and Applications인용 수 15

한 줄 요약

이 논문은 백프로파게이션 없이 계층적 특징 학습을 가능하게 하는 캐스케이드 구조와 다중 해상도 스캐닝을 활용한 결정트리 앙상블 기반의 딥러닝 모델인 gcForest를 소개한다. 신경망이 아닌 결정트리 기반의 모델로서 다양한 작업에서 최소한의 초모수 튜닝으로도 경쟁 가능한 성능을 달성하며, 미분 가능 모듈이 아닌 모듈을 사용함에도 딥 모델이 성공할 수 있음을 보여준다.

ABSTRACT

Current deep learning models are mostly build upon neural networks, i.e., multiple layers of parameterized differentiable nonlinear modules that can be trained by backpropagation. In this paper, we explore the possibility of building deep models based on non-differentiable modules. We conjecture that the mystery behind the success of deep neural networks owes much to three characteristics, i.e., layer-by-layer processing, in-model feature transformation and sufficient model complexity. We propose the gcForest approach, which generates extit{deep forest} holding these characteristics. This is a decision tree ensemble approach, with much less hyper-parameters than deep neural networks, and its model complexity can be automatically determined in a data-dependent way. Experiments show that its performance is quite robust to hyper-parameter settings, such that in most cases, even across different data from different domains, it is able to get excellent performance by using the same default setting. This study opens the door of deep learning based on non-differentiable modules, and exhibits the possibility of constructing deep models without using backpropagation.

연구 동기 및 목표

• 딥러닝이 신경망과 같은 미분 가능 모듈이 아닌가에 대해 탐구한다.
• 과도한 초모수, 데이터 요구량, 해석 어려움 등의 문제점을 해결하기 위해 딥 네트워크의 한계를 해결한다.
• 백프로파게이션 없이도 작동하는 결정트리 기반의 딥 모델을 개발하여 자동으로 모델 복잡도를 결정할 수 있도록 한다.
• 기본 설정으로도 소규모 데이터셋 및 다양한 도메인에서 우수한 성능을 내는 강건하고 일반적인 학습 시스템을 구축한다.

제안 방법

• 계층적 특징 변환을 가능하게 하기 위해 랜덤 포레스트와 완전 무작위 트리 앙상블의 캐스케이드 구조를 사용하는 gcForest라는 딥 포레스트 모델을 제안한다.
• 입력 데이터를 다양한 척도와 해상도에서 처리함으로써 다양한 맥락 인식 특징 표현을 생성하기 위해 다중 해상도 스캐닝을 활용한다.
• 두 단계의 학습 과정을 사용한다: 첫 번째 단계에서는 레이블 없이 완전 무작위 트리를 성장시켜 특징 표현을 생성하고, 두 번째 단계에서는 이러한 변환된 특징에 대해 레이블이 있는 데이터를 사용해 랜덤 포레스트를 훈련시킨다.
• 데이터 복잡도에 따라 캐스케이드 레벨 수를 자동으로 결정함으로써 수동 설계 대신 데이터 기반의 모델 복잡도를 가능하게 한다.
• 메모리 사용량을 줄이고 앙상블의 다양성을 향상시키기 위해 다중 해상도 스캐닝 중 특징 샘플링을 도입한다.
• 결정트리의 구조를 활용해, 트리 성장 과정에서 비라벨 데이터를 사용함으로써 활성 및 준지도 학습과의 통합 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 신경망 대신 결정트리와 같은 비미분 가능 모듈을 사용해 딥러닝을 실현할 수 있는가?
• RQ2 백프로파게이션 없이도 학습이 가능한 딥 모델을 구축할 수 있는가?
• RQ3 최소한의 초모수 튜닝으로도 다양한 도메인에서 딥 네트워크와 경쟁 가능한 성능을 내는 딥 포레스트 모델을 만들 수 있는가?
• RQ4 사전 아키텍처 설계 없이 데이터 기반으로 자동으로 모델 복잡도를 결정할 수 있는가?
• RQ5 랜덤 포레스트와 같은 앙상블 방법을 비가역성 없이도 깊고 계층적인 특징 학습을 지원하도록 확장할 수 있는가?

주요 결과

• gcForest는 표본, 이미지, 텍스트 데이터를 포함한 다양한 기계학습 작업에서 딥 네트워크와 경쟁 가능한 성능을 달성한다.
• 모델는 초모수 설정에 매우 강건하여 동일한 기본 설정으로 다양한 도메인에서 일관되게 뛰어난 성능을 보인다.
• 딥 네트워크가 데이터 부족으로 인해 일반적으로 성능이 떨어지는 소규모 데이터셋에서도 우수한 성능을 발휘한다.
• 캐스케이드 구조와 다중 해상도 스캐닝 덕분에 백프로파게이션 없이도 효과적인 계층적 특징 학습이 가능해지고 표현 능력이 향상된다.
• 모델 복잡도가 데이터에 따라 자동으로 결정되어 수동 아키텍처 설계가 필요로 하는 정도가 줄어들며 자원 사용을 적응적으로 조절할 수 있다.
• 완전 무작위 트리가 비라벨 데이터를 사용해 특징 표현을 생성할 수 있기 때문에 활성 및 준지도 학습과의 통합 잠재력이 있다.