[논문 리뷰] Deep Stochastic Configuration Networks with Universal Approximation Property

Dianhui Wang, Ming Li|arXiv (Cornell University)|2017. 02. 18.

Machine Learning and ELM참고 문헌 26인용 수 7

한 줄 요약

이 논문은 직접 스킵 연결을 통해 모든 은닉층에서 출력층으로 연결된 깊이 있는 구조를 점진적으로 구축하는 랜덤화된 딥러닝 프레임워크인 딥 스토하스틱 컨피규레이션 네트워크(DeepSCNs)를 제안한다. 랜덤 가중치 및 편향 할당을 제약하는 감독 메커니즘을 사용하고 최소 제곱법을 통해 독해 가중치를 구해, DeepSCNs는 보편적 근사성을 달성하며 최소한의 인간 간섭으로 빠르고 데이터 기반의 표현 학습을 가능하게 한다.

ABSTRACT

This paper develops a randomized approach for incrementally building deep neural networks, where a supervisory mechanism is proposed to constrain the random assignment of the weights and biases, and all the hidden layers have direct links to the output layer. A fundamental result on the universal approximation property is established for such a class of randomized leaner models, namely deep stochastic configuration networks (DeepSCNs). A learning algorithm is presented to implement DeepSCNs with either specific architecture or self-organization. The read-out weights attached with all direct links from each hidden layer to the output layer are evaluated by the least squares method. Given a set of training examples, DeepSCNs can speedily produce a learning representation, that is, a collection of random basis functions with the cascaded inputs together with the read-out weights. An empirical study on a function approximation is carried out to demonstrate some properties of the proposed deep learner model.

연구 동기 및 목표

• 고비용의 수작업 및 시도 오류 방식의 딥 네트워크 아키텍처 설계 문제를 해결한다.
• 수집된 데이터에 따라 자동으로 구성되는, 인간 간섭 최소화의 빠르고 확장 가능한 딥러닝 프레임워크를 개발한다.
• 직접 스킵 연결을 갖는 랜덤화된 딥 네트워크에서 보편적 근사성의 이론적 기반을 확립한다.
• 랜덤 기저 함수를 사용하는 점진적이고 구성적인 학습을 통해 효율적인 데이터 기반 특징 표현을 가능하게 한다.
• 희소성과 중복 제거를 위한 후처리를 지원하는 프레임워크를 제공하여 모델의 효율성과 해석 가능성을 향상시킨다.

제안 방법

• 최소한의 네트워크에서 시작하여 은닉층을 한 개씩 점진적으로 추가함으로써 DeepSCNs를 구성한다.
• 모델 용량을 유지하기 위해 부등식 제약 조건을 강제하는 감독 메커니즘을 통해 은닉층의 가중치 및 편향을 랜덤으로 할당한다.
• 모든 은닉층을 출력층에 직접 연결함으로써 계층별 근사 및 유연한 특징 활용을 가능하게 한다.
• 학습 데이터에 대한 최소 제곱 회귀를 통해 독해 가중치를 계산하여 랜덤 기저 함수의 최적 선형 조합을 확보한다.
• 한 계층의 잔차를 다음 계층의 새로운 목표 함수로 사용함으로써 계층적 근사를 가능하게 한다.
• 각 계층에서 랜덤 매개변수의 범위를 적응적으로 업데이트하여 기저 함수의 집합을 풍부화하고 표현 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 직접 스킵 연결을 갖는 랜덤화된 딥 네트워크가 보편적 근사를 달성할 수 있는가?
• RQ2 랜덤 매개변수에 대한 감독 메커니즘이 DeepSCNs의 표현 능력과 일반화 성능에 어떤 영향을 미치는가?
• RQ3 최소 제곱 독해 가중치와 함께 점진적이고 구성적인 학습 과정이 기존 DNN과 비교해 학습 속도와 모델 정확도를 얼마나 향상시키는가?
• RQ4 DeepSCNs는 숫자 회전 보정과 같은 실제 작업에서 얕은 스토하스틱 컨피규레이션 네트워크(SCNs)를 능가할 수 있는가?
• RQ5 아키텍처의 깊이와 직접 연결이 데이터 기반 랜덤 기저 함수의 품질에 어떤 영향을 미치는가?

주요 결과

• DeepSCNs는 보편적 근사성 성질을 확보하여 연속 함수를 임의의 정밀도로 근사할 수 있음을 입증한다.
• 제안된 감독 메커니즘은 랜덤 매개변수의 할당 방식을 통해 모델 용량을 유지하고 열악한 초기화를 방지함을 보장한다.
• DeepSCNs는 숫자 회전 보정 작업에서 얕은 SCNs보다 뚜렷이 뛰어나며, 특히 '1', '2', '5', '7', '8'과 같은 숫자에서 예측 오차가 적고 더 안정적인 각도 추정을 보인다.
• SCN보다 더 정확하고 안정적인 예측을 생성하며, 오차의 대부분이 [-60, 60]도 범위에 집중되어 있어 일반화 능력이 뛰어나다는 것을 나타낸다.
• 오차 허용 기반으로 데이터 기반으로 점진적으로 구성되는 아키텍처 덕분에 인간 간섭 최소화로 빠른 학습이 가능하다.
• 후처리를 통해 중복 제거가 가능하여 정확도를 희생시키지 않은 채 희소하고 효율적인 표현을 지원한다.