[논문 리뷰] Dense Adaptive Cascade Forest: A Densely Connected Deep Ensemble for Classification Problems

Haiyang Wang|arXiv (Cornell University)|2018. 01. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 1

한 줄 요약

이 논문은 밀도 높은 잔차 연결, 적응형 하이퍼파ram터 최적화, SAMME.R 부스팅을 통해 분류 정확도를 향상시키는 딥 앙상블 모델인 Dense Adaptive Cascade Forest(daForest)를 제안한다. 전처리 없이 고차원 희소 데이터에서 전통적 모델 및 신경망보다 뛰어난 성능을 보이며, 최신 기술 수준의 결과를 달성한다.

ABSTRACT

Recent research has shown that deep ensemble for forest can achieve a huge increase in classification accuracy compared with the general ensemble learning method. Especially when there are only few training data. In this paper, we decide to take full advantage of this observation and introduce the Dense Adaptive Cascade Forest (daForest), which has better performance than the original one named Cascade Forest. And it is particularly noteworthy that daForest has a powerful ability to handle high-dimensional sparse data without any preprocessing on raw data like PCA or any other dimensional reduction methods. Our model is distinguished by three major features: the first feature is the combination of the SAMME.R boosting algorithm in the model, boosting gives the model the ability to continuously improve as the number of layer increases, which is not possible in stacking model or plain cascade forest. The second feature is our model connects each layer to its subsequent layers in a feed-forward fashion, to some extent this structure enhances the ability of the model to resist degeneration. When number of layers goes up, accuracy of model goes up a little in the first few layers then drop down quickly, we call this phenomenon degeneration in training stacking model. The third feature is that we add a hyper-parameter optimization layer before the first classification layer in the proposed deep model, which can search for the optimal hyper-parameter and set up the model in a brief period and nearly halve the training time without having too much impact on the final performance. Experimental results show that daForest performs particularly well on both high-dimensional low-order features and low-dimensional high-order features, and in some cases, even better than neural networks and achieves state-of-the-art results.

연구 동기 및 목표

• 학습 중에 스태킹 및 캐스케이드 숲 아키텍처에서 성능 저하 문제가 발생하는 것을 해결하기 위해.
• PCA와 같은 전처리가 필요 없이 고차원 희소 특징과 저차원 고차 특징 모두에서 분류 정확도를 향상시키기 위해.
• 최종 성능에 미치는 영향을 최소화하면서도 모델 설정을 가속화하는 적응형 하이퍼파ram터 최적화 레이어를 통해 학습 시간을 단축시키기 위해.
• 깊은 아키텍처에서 정확도 저하를 방지하기 위해 레이어 간에 밀도 높은 스킵 연결을 도입하여 모델의 안정성과 확장성을 향상시키기 위해.

제안 방법

• 지속적인 정확도 향상을 위해 SAMME.R 부스팅 알고리즘을 딥 캐스케이드 숲 아키텍처에 통합한다.
• 모든 후속 레이어와 연결되는 피드포워드 밀도 높은 연결 메커니즘을 도입하여 기울기 흐름을 향상시키고 깊은 모델에서의 열화를 줄인다.
• 첫 번째 분류 레이어 이전에 하이퍼파ram터 최적화 레이어를 통합하여 모델 파라미터를 자동으로 튜닝함으로써 학습 시간을 약 50% 감소시킨다.
• 차원 축소 없이 원본 고차원 희소 데이터를 입력으로 사용하여, 모델가 지닌 희소 특징에 대한 내재적 강건성을 활용한다.
• 각 레이어가 이전 레이어의 예측을 개선하는 캐스케이드 아키텍처를 사용하며, 부스팅을 통해 약한 학습기의 샘플 가중치를 동적으로 조정한다.
• 학습 안정성과 성능 향상을 위해 깊이가 증가함에 따라 성능 저하를 방지하는 잔차 유사 구조를 도입한다.

실험 결과

연구 질문

• RQ1 깊은 앙상블 숲 모델이 깊이가 증가함에 따라 성능 저하를 피하면서도 정확도를 유지하거나 향상시킬 수 있는가, 일반적인 스태킹 모델에서 관찰되는 열화 현상과는 다르게?
• RQ2 SAMME.R 부스팅의 통합이 기존 앙상블 방법과 비교해 깊은 캐스케이드 숲 아키텍처에서 성능에 어떤 영향을 미치는가?
• RQ3 하이퍼파ram터 최적화 레이어가 최종 분류 정확도를 떨어뜨리지 않고 학습 시간을 얼마나 줄일 수 있는가?
• RQ4 PCA나 특징 선택과 같은 전처리 없이도 고차원 희소 데이터에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 밀도 높은 잔차 연결 메커니즘이 깊은 숲 모델에서 안정성과 일반화 능력을 어떻게 향상시키는가?

주요 결과

• daForest는 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 특히 고차원 희소 특징 설정에서 뛰어난 성능을 보인다.
• 깊이가 증가함에 따라 일관된 정확도 향상을 유지하며, 일반적인 스태킹 또는 단순 캐스케이드 숲에서 관찰되는 급격한 성능 저하 현상을 피한다.
• 하이퍼파라미터 최적화 레이어 덕분에 학습 시간이 약 50% 감소했으며, 최종 모델 정확도는 거의 변하지 않았다.
• 특히 희소 고차원 입력을 가진 데이터셋에서 기존의 랜덤 포레스트 앙상블 및 딥 신경망을 모두 능가하는 성능을 보였다.
• 밀도 높은 연결 메커니즘이 모델 안정성을 크게 향상시켜 깊은 아키텍처에서의 성능 열화를 방지한다.
• 저차원 고차 특징 세트에서도 뛰어난 일반화 능력을 보이며, 다양한 유형의 데이터에 광범위하게 적용 가능함을 시사한다.