[논문 리뷰] Deep neural network initialization with decision trees

Kelli Humbird, J. L. Peterson외 1명|arXiv (Cornell University)|2017. 07. 03.

Machine Learning and Data Classification참고 문헌 19인용 수 7

한 줄 요약

이 논문은 결정 트리를 사용하여 딥 피드포워드 신경망을 초기화하는 DJINN이라는 방법을 제안한다. 이는 학습을 위한 온기 시작을 제공한다. 트리 구조를 네트워크 아키텍처와 가중치에 매핑함으로써 DJINN은 베이지안 하이퍼파rameter 최적화 수준의 예측 성능를 달성하지만, 훨씬 낮은 계산 비용을 요구한다. 이는 복잡하고 고차원적인 데이터셋에서의 서rogate 모델링을 위한 강력하고 사용자 우호적인 접근법이다.

ABSTRACT

In this work a novel, automated process for constructing and initializing deep feed-forward neural networks based on decision trees is presented. The proposed algorithm maps a collection of decision trees trained on the data into a collection of initialized neural networks, with the structures of the networks determined by the structures of the trees. The tree-informed initialization acts as a warm-start to the neural network training process, resulting in efficiently trained, accurate networks. These models, referred to as "deep jointly-informed neural networks" (DJINN), demonstrate high predictive performance for a variety of regression and classification datasets, and display comparable performance to Bayesian hyper-parameter optimization at a lower computational cost. By combining the user-friendly features of decision tree models with the flexibility and scalability of deep neural networks, DJINN is an attractive algorithm for training predictive models on a wide range of complex datasets.

연구 동기 및 목표

• 복잡하고 고차원적인 데이터셋에 대해 최적의 신경망 아키텍처와 초기 가중치를 선택하는 데 도전하는 것.
• 결정 트리를 구조적 및 가중치 초기화의 근원으로 활용하여 딥 러닝에서 하이퍼파rameter 튜닝의 계산 부담을 줄이는 것.
• 결정 트리의 사용자 우호성과 딥 신경망의 예측 능력 및 확장성의 조합을 이루는 것.
• 최소한의 사용자 간섭으로도 다양한 회귀 및 분류 작업에서 높은 정확도를 유지하는 블랙박스 방법을 개발하는 것.
• 정보적인 가중치 초기화가 효율성과 성능 측면에서 광범위한 하이퍼파rameter 검색을 능가할 수 있음을 보여주는 것.

제안 방법

• 데이터셋에 대해 결정 트리의 앙상블(예: 랜덤 포레스트)을 훈련시어, 잠재적인 패턴과 구조를 포착한다.
• 각 결정 트리의 구조를 딥 피드포워드 신경망 아키텍처로 매핑하며, 트리의 깊이가 은닉층의 수를 결정하고, 리프 수가 각 층의 뉴런 수를 결정한다.
• 결정 트리의 분할 임계값과 리프 값의 미분 가능한 변환을 사용하여 네트워크 가중치를 초기화함으로써, 초기 네트워크가 트리의 행동을 모방하도록 보장한다.
• 결과로 생성된 초기화된 네트워크를 표준 역전파 학습의 온기 시작으로 사용하여 수렴 속도와 최종 성능을 향상시킨다.
• 앙상블의 각 다른 트리에서 유도된 여러 DJINN 네트워크를 동시에 훈련시켜 강건성과 일반화 능력을 향상시킨다.
• 이 방법을 회귀 및 분류 작업에 적용하여, 베이지안 하이퍼파rameter 최적화 및 기타 초기화 기법과의 성능를 비교한다.

실험 결과

연구 질문

• RQ1 결정 트리의 구조를 딥 신경망 아키텍처에 효과적으로 매핑할 수 있는가? 이는 학습 효율성과 정확도 향상에 기여하는가?
• RQ2 트리 기반의 가중치 초기화는 He나 Xavier와 같은 표준 초기화 방법보다 우수한 온기 시작을 제공하는가?
• RQ3 예측 정확도와 계산 비용 측면에서 DJINN의 성능는 베이지안 하이퍼파rameter 최적화와 비교해 어떻게 되는가?
• RQ4 DJINN는 네트워크 아키텍처를 명시적으로 최적화하지 않더라도 경쟁 가능한 성능를 달성할 수 있는가?
• RQ5 딥 러닝 응용에서 DJINN는 수동 하이퍼파rameter 튜닝의 필요성을 얼마나 줄이는가?

주요 결과

• DJINN는 보스턴 하우징, 당뇨병, 포도주 데이터셋을 포함한 여러 회귀 및 분류 데이터셋에서 베이지안 하이퍼파rameter 최적화와 비교해 유사한 예측 성능를 달성한다.
• 이 방법은 아키텍처와 하이퍼파ram터 공간을 반복적으로 탐색하는 것을 피하기 때문에, 하이퍼파라미터 최적화에 비해 계산 비용을 크게 줄였다.
• 복잡한 회귀 문제에서는 DJINN의 아키텍처와 초기화가 표준 초기화 기법보다 더 빠른 수렴과 낮은 최종 손실을 이끌어낸다.
• 아이리스 및 유방암 분류 작업에서 DJINN는 다른 초기화 및 아키텍처 선택 기법과 유사한 성능를 보이며, 다양한 문제 유형에서의 강건성을 입증한다.
• DJINN가 생성한 은닉층 너비는 베이지안 최적화가 도출한 것과 매우 유사하여, 트리 구조가 자연스럽게 효과적인 아키텍처를 제안함을 시사한다.
• 병렬로 훈련된 DJINN 앙상블는 특히 저표본, 고차원 데이터셋에서 더 뛰어난 일반화 능력과 안정성을 보였다.