[논문 리뷰] Greedy Shallow Networks: A New Approach for Constructing and Training Neural Networks

Anton Dereventsov, Armenak Petrosyan외 1명|arXiv (Cornell University)|2019. 05. 01.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 4

한 줄 요약

이 논문은 역전파 없이 효율적인 단일 은닉층 신경망을 구축하기 위해 ReLU 활성화 함수와 라이지렛 기반 적분 표현을 사용하는 근시적인 얕은 네트워크 접근법을 제안한다. 라이지렛 변환을 통해 사전 사전(dictionary) 크기를 줄임으로써, 신속하고 실현 가능한 근시적 선택을 통한 뉴런 선택이 가능해지며, 이는 효과적인 초기화 또는 완전히 훈련된 모델로 기능하는 아키텍처를 생성한다. 수치적 결과는 기존 방법들에 비해 우수한 성능을 보여준다.

ABSTRACT

We present a greedy-based approach to construct an efficient single hidden layer neural network with the ReLU activation that approximates a target function. In our approach we obtain a shallow network by utilizing a greedy algorithm with the prescribed dictionary provided by the available training data and a set of possible inner weights. To facilitate the greedy selection process we employ an integral representation of the network, based on the ridgelet transform, that significantly reduces the cardinality of the dictionary and hence promotes feasibility of the greedy selection. Our approach allows for the construction of efficient architectures which can be treated either as improved initializations to be used in place of random-based alternatives, or as fully-trained networks in certain cases, thus potentially nullifying the need for backpropagation training. Numerical experiments demonstrate the tenability of the proposed concept and its advantages compared to the conventional techniques for selecting architectures and initializations for neural networks.

연구 동기 및 목표

• 역전파 없이 효율적인 단일 은닉층 신경망을 구축하기 위한 방법을 개발한다.
• 후보 뉴런의 사전 크기를 축소시켜 신경망 아키텍처 선택의 계산 복잡도를 낮춘다.
• 라이지렛 변환을 통한 적분 표현을 활용하여 더 실현 가능한 근시적 최적화를 가능하게 한다.
• 반복적 훈련 없이도 효과적인 초기화 또는 완전히 훈련된 모델로 기능하는 아키텍처를 생성한다.
• 기존의 무작위 또는 히우리스틱 초기화 기법들과 비교해 우수한 성능을 보여준다.

제안 방법

• 훈련 데이터와 사전 정의된 내부 가중치에서 유도된 사전에서 뉴런을 근시적으로 선택하는 알고리즘을 사용한다.
• 라이지렛 변환에 기반한 적분 표현을 활용하여 사전의 효과적 크기를 줄인다.
• 라이지렛 변환을 적용해 네트워크의 함수 공간을 희박한 표현으로 매핑함으로써 선택 효율성을 향상시킨다.
• 적분 표현을 기반으로 잔차 오차 최소화 원칙에 따라 반복적으로 뉴런을 선택한다.
• 깊은 네트워크의 초기화 또는 직접적인 모델로 사용 가능한 얕은 네트워크를 구축한다.
• 계산 가능한 분석적 공간에서의 근시적 선택에 의존함으로써 역전파를 피한다.

실험 결과

연구 질문

• RQ1 축소된 뉴런 사전을 기반으로 한 근시적 선택 과정이 역전파 없이 효과적인 얕은 신경망을 생성할 수 있는가?
• RQ2 라이지렛 기반 적분 표현은 사전 기반 네트워크 구축의 계산 부담을 어느 정도 감소시키는가?
• RQ3 결과로 도출된 네트워크는 딥러닝에서 무작위 또는 히우리스틱 초기화의 실질적인 대안이 될 수 있는가?
• RQ4 근시적 얕은 네트워크의 성능은 정확도 및 효율성 측면에서 표준 훈련 방법과 비교해 어떻게 되는가?
• RQ5 어떤 조건에서 구축된 네트워크가 단지 초기화가 아니라 완전히 훈련된 모델로 사용될 수 있는가?

주요 결과

• 라이지렛 기반 적분 표현은 사전의 기수(cardinality)를 크게 줄여 근시적 선택의 계산 가능성을 보장한다.
• 제안된 방법은 역전파가 필요 없이도 경쟁 가능한 성능을 보이는 얕은 네트워크를 구축한다.
• 결과로 도출된 아키텍처는 특정 경우에 효과적인 초기화 또는 완전히 훈련된 모델로 사용될 수 있다.
• 수치 실험을 통해 방법의 실현 가능성과 기존 아키텍처 선택 및 초기화 기법들에 비해 우수한 성능을 입증한다.
• 표준 딥러닝 파이프라인에 비해 훈련 오버헤드를 줄이고 더 빠른 네트워크 구축이 가능하다.
• 특히 훈련 비용이 높은 환경에서 반복 최적화에 대한 의존도를 감소시키는 데 잠재력이 있다.