[논문 리뷰] Random Vector Functional Link Neural Network based Ensemble Deep Learning

Rakesh Katuwal, Ponnuthurai Nagaratnam Suganthan외 1명|arXiv (Cornell University)|2019. 06. 30.

Machine Learning and ELM참고 문헌 40인용 수 25

한 줄 요약

이 논문은 닫힌형 출력 가중치 계산을 통해 무작위로 생성된 고정된 은닉층 가중치를 활용하는 딥 랜덤 벡터 기능 링크(dRVFL) 신경망과 앙상블 변형(edRVFL)을 제안한다. 여러 무작위 레이어를 스택하고 단일 학습 런을 통해 앙상블 학습을 통합함으로써, 다양한 벤치마크 데이터셋에서 기존 얕은 RVFL 및 전통적인 딥러닝 모델보다 뛰어난 일반화 성능과 효율성을 달성한다.

ABSTRACT

In this paper, we propose a deep learning framework based on randomized neural network. In particular, inspired by the principles of Random Vector Functional Link (RVFL) network, we present a deep RVFL network (dRVFL) with stacked layers. The parameters of the hidden layers of the dRVFL are randomly generated within a suitable range and kept fixed while the output weights are computed using the closed form solution as in a standard RVFL network. We also propose an ensemble deep network (edRVFL) that can be regarded as a marriage of ensemble learning with deep learning. Unlike traditional ensembling approaches that require training several models independently from scratch, edRVFL is obtained by training a single dRVFL network once. Both dRVFL and edRVFL frameworks are generic and can be used with any RVFL variant. To illustrate this, we integrate the deep learning networks with a recently proposed sparse-pretrained RVFL (SP-RVFL). Extensive experiments on benchmark datasets from diverse domains show the superior performance of our proposed deep RVFL networks.

연구 동기 및 목표

• 기존 백프로파게이션 기반 딥 네트워크의 한계인 높은 학습 비용, 열악한 수렴성, 데이터 집약성 문제를 해결하기 위해, 무작위화된 신경망 기반의 딥 러닝 프레임워크를 제안한다.
• 기존 다중 레이어 RVFL 네트워크의 열악한 성능을 극복하기 위해, RVFL의 장점을 유지하면서 계층적 특징 학습이 가능한 더 깊은 아키텍처를 설계한다.
• 독립적으로 여러 모델을 학습하는 것과는 달리, 단일 학습 런 동안 다수의 기저 모델을 생성함으로써 높은 성능을 달성하면서도 기존 앙상블 방법보다 계산 비용을 줄이는 효율적인 앙상블 방법(edRVFL)을 개발한다.
• dRVFL 및 edRVFL 프레임워크의 일반적 적용 가능성을 입증하기 위해, 표현 학습을 향상시키기 위해 희소 미리 훈련된 RVFL 변형(SP-RVFL)을 통합한다.
• 다양한 실제 데이터셋을 다양한 도메인에 걸쳐 평가하여, 정확도와 일반화 능력 측면에서 기존 모델들보다 일관되게 뛰어난 성능을 보여준다.

제안 방법

• 은닉층 가중치와 편향을 무작위로 초기화하고 고정시키며, 출력 가중치는 최소 제곱 최적화를 통해 닫힌형 해법으로 계산하는 다층 스택된 은닉층을 갖는 딥 RVFL(dRVFL) 네트워크를 제안한다.
• 단일 학습 런 동안 입력 또는 은닉층 가중치에 무작위 편향을 적용하여 다양한 기저 모델을 생성함으로써, 별도의 네트워크 학습 없이도 앙상블 딥 러닝 프레임워크(edRVFL)를 도입한다.
• 표준 RVFL과 동일하게 입력층에서 출력층으로 직접 스킵 연결을 적용하여 모델 정규화를 도모하고, 특징 재사용을 향상시키며, 특히 데이터가 적은 환경에서의 일반화 성능을 향상시킨다.
• 희소 오토인코더를 사용하여 은닉층 가중치를 무작위 초기화가 아닌 학습을 통해 얻는 방식으로, 희소 미리 훈련된 RVFL(SP-RVFL) 변형을 딥 프레임워크에 통합한다. 이는 특징 표현 품질을 향상시킨다.
• edRVFL에서 다수의 랜덤화를 단일 전방 전파로 생성함으로써, 별도로 여러 딥 네트워크를 학습하는 것보다 훨씬 낮은 학습 비용을 달성한다.
• 13개의 벤치마크 데이터셋에서 기준 모델 대비 성능 향상의 유의성을 검증하기 위해 통계적 검정(Friedman 및 Nemenyi 검정)을 적용한다.

실험 결과

연구 질문

• RQ1 RVFL 원리를 기반으로 한 딥 네트워크 아키텍처가 다양한 데이터셋에서 얕은 RVFL 및 표준 딥 네트워크보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ2 제안된 edRVFL 프레임워크는 단일 학습 런을 통해 기존 앙상블 방법과 유사한 성능을 달성하면서도 학습 비용을 크게 줄일 수 있는가?
• RQ3 RVFL 프레임워크에 희소 미리 훈련을 통합할 경우, 딥 및 앙상블 딥 네트워크의 성능에 어떤 영향을 미치는가?
• RQ4 dRVFL 및 edRVFL 프레임워크는 SP-RVFL과 같은 다양한 RVFL 변형과 조합되어 다양한 학습 과제에서 성능 향상을 이끌 수 있는가?
• RQ5 dRVFL 및 edRVFL이 ELM, RVFL, SP-RVFL과 같은 기존 모델들 대비 다수의 벤치마크 데이터셋에서 성능 향상이 통계적으로 유의미한가?

주요 결과

• dSP-RVFL 및 edSP-RVFL 모델은 13개 데이터셋 평균 정확도 94.29%를 기록하였으며, 기준 SP-RVFL(91.7%)보다 유의미하게 높았고, Friedman 검정에서 p-value < 0.05를 기록했다.
• edSP-RVFL 모델은 평균 Friedman 순위 2.03을 기록하여, ELM(순위 10) 및 dRVFL(-O)(순위 8.73)를 포함한 모든 다른 모델을 앞서며 뛰어난 종합 성능을 보였다.
• MNIST 데이터셋에서 edSP-RVFL은 95.02%의 정확도를 기록하여 SP-RVFL의 91.26%보다 3.76% 향상되었으며, 이미지 분류 과제에서 강력한 성능을 입증했다.
• COIL20 데이터셋에서는 edSP-RVFL(99.72%)이 dSP-RVFL(98.96%)보다 1.0% 높은 정확도를 기록하여, 복잡한 데이터셋에서 앙상블 학습의 효과를 입증했다.
• Nemenyi 검정 결과, dSP-RVFL 및 edSP-RVFL은 SP-RVFL보다 통계적으로 유의미하게 뛰어나며, 임계 차이(CD)는 0.92, 검정 통계량(F_F)은 71.23이며, 유의수준 α = 0.05에서 귀무가설을 기각했다.
• edRVFL 프레임워크는 평균 정확도 94.29%와 Friedman 순위 2.3을 기록하여, RCV1 및 TDT2를 포함한 모든 테스트 데이터셋에서 앙상블 접근법이 일관되게 성능 향상을 이끌어냈다.