[논문 리뷰] Forward Thinking: Building Deep Random Forests

K. Miller, Chris Hettinger외 3명|arXiv (Cornell University)|2017. 05. 20.

Machine Learning and Data Classification참고 문헌 13인용 수 36

한 줄 요약

이 논문은 역전파 없이 효율적인 계층별 훈련이 가능한, 뉴런 대신 결정 트리의 계층적 앙상블을 사용하는 프레임워크인 Forward Thinking을 소개한다. 제안된 Forward Thinking Deep Random Forest(FTDRF)는 여러 계층을 거쳐 개별 트리의 출력을 통해 데이터를 전방으로 전달함으로써, 단지 2,000개의 트리로 MNIST에서 98.98%의 정확도를 달성하였으며, 이는 gcForest의 절반 수의 트리로도 동등한 성능을 내는 것으로, 깊이 있는 신경망의 일반화된 대체 방안이 될 수 있음을 보여준다.

ABSTRACT

The success of deep neural networks has inspired many to wonder whether other learners could benefit from deep, layered architectures. We present a general framework called forward thinking for deep learning that generalizes the architectural flexibility and sophistication of deep neural networks while also allowing for (i) different types of learning functions in the network, other than neurons, and (ii) the ability to adaptively deepen the network as needed to improve results. This is done by training one layer at a time, and once a layer is trained, the input data are mapped forward through the layer to create a new learning problem. The process is then repeated, transforming the data through multiple layers, one at a time, rendering a new dataset, which is expected to be better behaved, and on which a final output layer can achieve good performance. In the case where the neurons of deep neural nets are replaced with decision trees, we call the result a Forward Thinking Deep Random Forest (FTDRF). We demonstrate a proof of concept by applying FTDRF on the MNIST dataset. We also provide a general mathematical formulation that allows for other types of deep learning problems to be considered.

연구 동기 및 목표

• 뉴런을 초월하는 다양한 학습자들을 수용하면서도 딥 네트워크를 일반화하는 일반적인 딥 러닝 프레임워크를 개발하는 것.
• 계층을 순차적으로 훈련하고 각 훈련된 계층을 통해 데이터를 전방으로 전달함으로써, 적응적이고 점진적인 네트워크 깊이를 허용하는 것.
• 결합된 결정 트리의 계층을 통해 데이터를 더 잘 다루는 표현으로 변환함으로써 학습 성능을 향상시키는 것.
• 특히 훈련 비용과 과적합 위험을 줄일 수 있는, 신경망 대신 랜덤 포레스트를 사용한 깊이 있는 아키텍처의 타당성과 효율성을 입증하는 것.
• 기존의 딥 네트워크보다 더 적은 트리 수와 더 빠른 훈련 속도로 MNIST와 같은 벤치마크 데이터셋에서 경쟁적인 성능을 달성하는 것.

제안 방법

• 랜덤 결정 트리와 추가 랜덤 트리를 혼합하여 앙상블의 다양성을 높이는 방식으로, 한 번에 한 계층의 결정 트리를 훈련한다.
• 계층을 훈련한 후, 각 개별 트리의 예측 결과를 새로운 특징으로 수집하여 모든 훈련 및 테스트 데이터를 해당 계층을 통해 전방으로 전달한다.
• 변환된 데이터를 다음 계층의 입력으로 사용하고, 이를 반복하여 계층별로 깊이 있는 아키텍처를 구축한다.
• 딥 포레스트 훈련 이전에 이미지의 국소 패턴을 추출하기 위해 Multi-Grid Scanning(MGS) 전처리 기법을 적용하여 특징 표현을 향상시킨다.
• 성능 향상의 상대적 증가율이 1% 이하로 떨어질 때까지 각 계층을 훈련시어 수렴 상태에 도달하고 과적합을 방지한다.
• 트리 구축 과정에서 최적의 노드 분할을 결정하기 위해 정보 이득 엔트로피를 사용하여 특징 공간의 효과적인 계층적 분할을 보장한다.

실험 결과

연구 질문

• RQ1 뉴런을 초월하는 학습자들을 수용하면서도 역전파 없이 효율적이고 점진적인 훈련이 가능한 딥 러닝 프레임워크를 설계할 수 있는가?
• RQ2 딥 아키텍처에서 뉴런 대신 결정 트리를 사용할 경우, MNIST와 같은 표준 벤치마크에서 경쟁적인 성능를 달성할 수 있는가?
• RQ3 동일한 전처리 및 데이터셋을 사용할 때, 깊이 있는 포레스트 아키텍처의 성능가 기존의 딥 모델(예: gcForest)과 비교해 볼 때 어떻게 되는가?
• RQ4 집합된 포레스트 출력 대신 개별 트리 출력을 전방으로 전달하는 것이 일반화 성능 향상이나 모델 크기 감소에 기여하는가?
• RQ5 결합된 결정 트리의 계층을 거쳐 데이터를 다수의 변환 단계를 거쳐 전달할 경우, 후속 분류 작업에 더 잘 다루는 표현으로 이어질 수 있는가?

주요 결과

• Forward Thinking Deep Random Forest(FTDRF)는 단지 2,000개의 트리로 MNIST 데이터셋에서 98.98%의 정확도를 달성하여, 트리 수의 절반으로도 동일한 성능을 내는 gcForest와 동등한 성능을 보였다.
• Multi-Grid Scanning(MGS) 전처리를 적용한 결과, FTDRF는 2,000개의 트리로 98.98%의 정확도를 달성했고, gcForest는 4,000개의 트리로 98.96%의 정확도를 기록하여, 더 높은 샘플 효율성을 보였다.
• 단지 500개의 트리로도 FTDRF는 98.89%의 정확도를 달성하여, 상당히 감소된 모델 복잡도로도 강력한 성능를 보였다.
• FTDRF 프레임워크는 역전파 없이 빠르고 순차적인 훈련이 가능하여, 기존의 딥 네트워크보다 계산 비용을 크게 감소시켰다.
• 집합된 포레스트 출력 대신 개별 트리 출력을 전방으로 전달하는 방식은 더 표현력 있고 효율적인 표현 학습 과정을 이끌었다.
• 이 방법은 재현 가능하며 오픈소스로 공개되어 GitHub에서 코드를 제공하여 투명성과 깊이 있는 트리 기반 아키텍처 분야의 향후 연구를 지원한다.