[논문 리뷰] GrCAN: Gradient Boost Convolutional Autoencoder with Neural Decision Forest

Manqing Dong, Lina Yao외 3명|arXiv (Cornell University)|2018. 06. 21.

Advanced Neural Network Applications참고 문헌 42인용 수 4

한 줄 요약

GrCAN은 종속형 특징 학습, 신경 결정 숲, 기울기 부스팅을 통합하는 엔드 투 엔드 미분 가능한 모델을 제안한다. 특징 학습을 위한 오토인코더, 의사결정을 위한 신경 결정 숲, 잔차 학습을 위한 기울기 부스팅 모듈을 함께 훈련시켜 다양한 데이터셋에서 최신 기술 수준의 정확도를 달성한다. 패션-MNIST에서는 92% 이상의 정확도를 기록한다.

ABSTRACT

Random forest and deep neural network are two schools of effective classification methods in machine learning. While the random forest is robust irrespective of the data domain, the deep neural network has advantages in handling high dimensional data. In view that a differentiable neural decision forest can be added to the neural network to fully exploit the benefits of both models, in our work, we further combine convolutional autoencoder with neural decision forest, where autoencoder has its advantages in finding the hidden representations of the input data. We develop a gradient boost module and embed it into the proposed convolutional autoencoder with neural decision forest to improve the performance. The idea of gradient boost is to learn and use the residual in the prediction. In addition, we design a structure to learn the parameters of the neural decision forest and gradient boost module at contiguous steps. The extensive experiments on several public datasets demonstrate that our proposed model achieves good efficiency and prediction performance compared with a series of baseline methods.

연구 동기 및 목표

• 기존의 랜덤 숲과 딥 네트워크의 한계를 해결하기 위해 그들의 강점을 하나의 미분 가능한 모델로 통합하고자 한다.
• 신경 결정 숲 프레임워크에 기울기 부스팅을 통합하여 소형 및 고차원 데이터셋에서의 분류 성능을 향상시키고자 한다.
• 종속형 오토인코더와 신경 결정 숲을 결합하여 특징 표현 학습을 향상시켜 더 나은 일반화 성능을 달성하고자 한다.
• 오토인코더, 신경 결정 숲, 기울기 부스팅 모듈를 동시에 최적화하는 학습 가능하고 엔드 투 엔드 아키텍처를 개발하고자 한다.
• 이미지 및 표본 데이터를 포함한 다양한 데이터셋에서 모델의 강인성과 확장성 평가를 수행하고자 한다.

제안 방법

• 입력 데이터의 계층적이고 저차원의 표현을 학습하기 위해 종속형 오토인코더를 사용하여 국소적 공간 관계를 포착한다.
• 엔드 투 엔드 훈련이 가능한 미분 가능한 분류기로 신경 결정 숲을 사용하며, 의사결정 노드는 확률 분포로 매개변수화된다.
• 예측값과 진짜 레이블 간 잔차를 학습하는 기울기 부스팅 모듈을 도입하여 모델 정확도를 반복적으로 향상시킨다.
• 오토인코더, 신경 결정 숲, 기울기 부스팅 모듈을 통합된 최적화 루프에서 번갈아가며 업데이트하는 연속적인 훈련 전략을 설계한다.
• 다중 부스팅 단계를 허용하는 확장 가능한 기울기 부스팅 모듈을 적용하여 예측을 점진적으로 개선한다.
• 안정적인 최적화를 위해 입력 특징에 대해 최소-최대 정규화를 적용하고, 훈련 시 배치 크기를 200으로 설정한다.

실험 결과

연구 질문

• RQ1 기울기 부스팅이 미분 가능한 신경 결정 숲에 효과적으로 통합되어 분류 정확도를 향상시킬 수 있는가?
• RQ2 종속형 오토인코더와 신경 결정 숲을 조합함으로써 특징 표현과 모델 성능이 어떻게 향상되는가?
• RQ3 활성화 함수, 오토인코더 깊이, 트리 수와 같은 하이퍼파rameter의 변화가 모델 성능에 미치는 영향은 무엇인가?
• RQ4 오토인코더, 신경 결정 숲, 기울기 부스팅 모듈를 함께 최적화하는 엔드 투 엔드 훈련 전략이 별도 훈련보다 더 나은 성능을 내는가?
• RQ5 이미지 및 표본 데이터를 포함한 다양한 크기와 데이터 유형을 가진 데이터셋에서 모델의 성능은 어떠한가?

주요 결과

• 제안된 GrCAN 모델은 패션-MNIST 데이터셋에서 92% 이상의 정확도를 달성하여 기준 모델 및 최신 기술 수준의 모델을 초월한다.
• 1개 또는 2개의 기울기 부스팅 모듈을 포함한 모델는 기울기 부스팅이 없는 모델보다 일관되게 뛰어난 성능을 보이며, 신경 결정 숲 프레임워크 내에서 잔차 학습의 효과를 입증한다.
• 시그모이드 활성화 함수를 사용한 2층 종속형 오토인코더가 수렴 속도와 최종 성능 측면에서 최적의 균형을 이뤘으며, 1층 및 3층 버전보다 뛰어난 성능을 기록했다.
• 신경 결정 숲의 트리 수와 트리 깊이가 정확도에 큰 영향을 미치며, 높은 값일수록 특히 후기 훈련 에포크에서 더 빠른 성능 향상을 보였다.
• 더 깊은 오토인코더와 더 큰 숲을 사용할수록 수렴 속도가 느려지지만, 복잡도 증가로 인해 더 나은 일반화와 높은 최종 정확도를 달성한다.
• 기울기 부스팅 모듈의 학습률 하이퍼파rameter ρ는 상당한 영향을 미치며, ρ=1.0과 같은 높은 값은 더 많은 반복을 요구하지만 강력한 잔차 학습 덕분에 훨씬 높은 최종 정확도를 달성한다.