[논문 리뷰] Random vector functional link network: recent developments, applications, and future directions

Anshika Malik, Ruobin Gao외 3명|arXiv (Cornell University)|2022. 02. 13.

Machine Learning and ELM인용 수 6

한 줄 요약

이 논문은 랜덤 벡터 기반 기능 연결(RVFL) 네트워크에 대한 종합적인 리뷰를 제공하며, 얕은 구조에서 깊이 있는 구조와 앙상블 변종으로의 발전을 다루며, 빠른 훈련, 보편적 근사, 그리고 회귀, 분류, 함수 근사 분야의 응용에 중점을 둔다. 불안정성 문제에 기인한 랜덤 특징의 영향과 같은 주요 과제를 규명하고, 하이퍼파rameter 최적화, 특징 선택, 그래프 데이터 및 온라인 학습에의 적응 등 향후 연구 방향을 제안한다.

ABSTRACT

Neural networks have been successfully employed in various domains such as classification, regression and clustering, etc. Generally, the back propagation (BP) based iterative approaches are used to train the neural networks, however, it results in the issues of local minima, sensitivity to learning rate and slow convergence. To overcome these issues, randomization based neural networks such as random vector functional link (RVFL) network have been proposed. RVFL model has several characteristics such as fast training speed, direct links, simple architecture, and universal approximation capability, that make it a viable randomized neural network. This article presents the first comprehensive review of the evolution of RVFL model, which can serve as the extensive summary for the beginners as well as practitioners. We discuss the shallow RVFLs, ensemble RVFLs, deep RVFLs and ensemble deep RVFL models. The variations, improvements and applications of RVFL models are discussed in detail. Moreover, we discuss the different hyperparameter optimization techniques followed in the literature to improve the generalization performance of the RVFL model. Finally, we give potential future research directions/opportunities that can inspire the researchers to improve the RVFL's architecture and learning algorithm further.

연구 동기 및 목표

• 연구자들과 실무자들을 대상으로 RVFL 모델의 발전과 응용에 대해 체계적이고 최신의 리뷰를 제공하기 위해.
• RVFL 성능에 영향을 미치는 핵심 과제, 예를 들어 랜덤 특징 생성에 기인한 불안정성과 최적화되지 않은 일반화 능력 등을 규명하고 분석하기 위해.
• 앙상블 및 딥 러닝 기법을 RVFL에 통합하여 정확도와 내구성을 향상시키기 위해.
• 온라인 학습, 그래프 데이터 처리, 다중 레이블 학습 등 아직 탐색되지 않은 연구 방향을 부각시키기 위해.
• 랜덤화된 신경망 간의 공정한 성능 비교를 가능하게 하기 위해 표준화된 벤치마크 도입을 촉구하기 위해.

제안 방법

• 얕은, 앙상블, 깊이 있는, 앙상블-딥 RVFL 모델를 포함한 RVFL 변종에 대한 체계적 문헌 리뷰.
• 일반화 능력을 향상시키기 위한 베이지안 최적화 및 계층별 튜닝을 포함한 하이퍼파rameter 최적화 기법 분석.
• 랜덤 특징에서 유래하는 부정확한 정보를 줄이기 위한 특징 선택 및 정규화 기법 검토.
• 고차원 랜덤 특징을 다루기 위한 차원 축소 및 이중 정규화 전략 조사.
• 입력-출력 관계의 1차 도함수 정보를 포착하기 위한 RVFL 내 직접 연결 통합 탐색.
• 새로운 아키텍처 확장 기법을 통해 RVFL을 그래프 구조 데이터 및 시공간 시계열에 적응시키기 위한 가능성 논의.

실험 결과

연구 질문

• RQ1 앙상블 및 딥 RVFL 아키텍처는 표준 RVFL 모델 대비 일반화 능력과 성능을 어떻게 향상시키는가?
• RQ2 RVFL 모델 정확도와 안정성을 향상시키기 위해 가장 효과적인 하이퍼파rameter 최적화 기법은 무엇인가?
• RQ3 불필요하거나 열 劣한 랜덤 특징을 효과적으로 선택하거나 제거하여 RVFL 성능을 향상시킬 수 있는 방법은 무엇인가?
• RQ4 그래프 구조 또는 시공간 시계열과 같은 i.i.d.가 아닌 데이터에 대해 RVFL은 어떻게 적응시킬 수 있는가?
• RQ5 비지도 학습, 다중 레이블 학습, 온라인 학습 시나리오로 RVFL을 확장할 수 있는 실현 가능한 길은 무엇인가?

주요 결과

• 은닉층의 랜덤 가중치와 출력 가중치의 해석적 해를 통해 RVFL 네트워크는 빠른 훈련과 보편적 근사를 달성한다.
• 앙상블 및 딥 RVFL 모델는 단일 RVFL 네트워크에 비해 성능과 안정성이 크게 향상된다.
• 베이지안 최적화를 활용한 계층별 하이퍼파rameter 튜닝은 앙상블 딥 RVFL(edRVFL) 모델의 일반화 능력을 향상시킨다.
• 특징 선택 및 정규화 기법은 랜덤 특징에서 유래하는 노이즈를 줄이고 모델의 효율성과 정확도를 향상시킨다.
• 신호 분해를 통한 고차원 랜덤 특징은 차원 축소 또는 이중 정규화 전략을 통해 효과적으로 관리될 수 있다.
• 다양한 데이터셋과 평가 지표 간에 랜덤화된 신경망을 공정하게 비교하기 위해 표준화된 벤치마크가 절실하게 필요하다.