[논문 리뷰] Gradient-Free Learning Based on the Kernel and the Range Space

Kar-Ann Toh, Zhiping Lin외 3명|arXiv (Cornell University)|2018. 10. 27.

Neural Networks and Applications참고 문헌 35인용 수 8

한 줄 요약

이 논문은 선형 행렬방정식의 커널 및 범위 공간 조작을 활용하여 완전히 연결된 피드포워드 신경망을 위한 그래디언트 기반 학습 프레임워크를 제안한다. 이는 분석적이고 반복적이지 않은 가중치 추정을 가능하게 하며, 그래디언트 기반 학습과 유사한 예측 정확도를 달성하면서도 학습 속도가 200배 이상 빠르다. 이는 명시적 정규화나 역전파 없이도 실현 가능하고 일반화 가능한 학습임을 보여준다.

ABSTRACT

In this article, we show that solving the system of linear equations by manipulating the kernel and the range space is equivalent to solving the problem of least squares error approximation. This establishes the ground for a gradient-free learning search when the system can be expressed in the form of a linear matrix equation. When the nonlinear activation function is invertible, the learning problem of a fully-connected multilayer feedforward neural network can be easily adapted for this novel learning framework. By a series of kernel and range space manipulations, it turns out that such a network learning boils down to solving a set of cross-coupling equations. By having the weights randomly initialized, the equations can be decoupled and the network solution shows relatively good learning capability for real world data sets of small to moderate dimensions. Based on the structural information of the matrix equation, the network representation is found to be dependent on the number of data samples and the output dimension.

연구 동기 및 목표

• 선형 시스템에서 커널 및 범위 공간 추정과 최소 제곱 오차 최소화 간의 이론적 동치성을 확립하기 위해.
• 학습 문제를 교차 결합 방정식의 시스템으로 재구성함으로써 다층 피드포워드 네트워크를 위한 그래디언트 기반 학습 프레임워크를 개발하기 위해.
• 역전파 또는 반복 최적화 없이 분석적이고 단일 패assing 가중치 추정을 가능하게 하기 위해.
• 경사 하강법이 없는 조건에서 네트워크 깊이와 초기화가 학습 성능에 미치는 영향을 조사하기 위해.
• 실제 벤치마크 데이터셋에서 명시적 정규화 없이도 방법의 실현 가능성과 일반화 능력을 검증하기 위해.

제안 방법

• 완전히 연결된 피드포워드 네트워크를 선형 행렬방정식으로 재구성하여 선형 대수 도구의 적용을 가능하게 하기 위해.
• 커널 및 범위 공간 조작을 사용하여 최소 제곱 오차 최소화 문제의 등가 형태를 유도하기 위해.
• 신경망 학습 문제를 층 간 교차 결합 방정식의 시스템으로 변환하기 위해.
• 숨은 층 가중치를 무작위로 초기화함으로써 시스템을 분리하고 가중치 행렬의 해석적 해를 도출하기 위해.
• 레마 1 및 레마 2에서 유도된 최소 노름 성질을 활용하여 명시적 정규화 없이도 일반화를 보장하기 위해.
• 해의 잘 정의된 성질을 확보하기 위해 역행렬 가능성을 보장하고 유리한 왜곡을 유도하기 위해 로짓 활성화 함수를 적용하기 위해.

실험 결과

연구 질문

• RQ1 커널 및 범위 공간 분석은 선형 시스템에서 최소 제곱 오차 최소화의 등가 대안을 제공할 수 있는가?
• RQ2 경사 하강법에 의존하지 않고도 다층 피드포워드 네트워크의 학습을 교차 결합 방정식의 시스템으로 재구성할 수 있는가?
• RQ3 숨은 층 가중치의 무작위 초기화가 네트워크 가중치의 분리 및 해석적 해를 가능하게 하는가?
• RQ4 제안된 그래디언트 기반 프레임워크에서 네트워크 깊이가 예측 정확도에 미치는 영향은 무엇인가?
• RQ5 최소 노름 해에 의존하는 조건에서 명시적 정규화 없이도 이 방법이 잘 일반화될 수 있는가?

주요 결과

• 커널 및 범위 공간 조작을 통한 해는 수학적으로 최소 제곱 오차 해와 동치이며, 이는 이론적 기반을 검증한다.
• 제안된 방법은 동일한 은닉 노드 수를 가진 그래디언트 기반 학습보다 학습 속도가 200배 이상 빠르다.
• 대부분의 벤치마크 데이터셋에서 다양한 네트워크 깊이(2-, 3-, 4층) 간에 예측 정확도가 상대적으로 안정적이며, 유의미한 변동이 없다.
• 해의 최소 노름 성질에 기반하여 명시적 정규화 없이도 잘 일반화됨을 입증한다.
• 네트워크 표현 능력은 데이터 샘플 수와 출력 차원에 따라 달라지며, 비선형 활성화 함수가 문제의 잘 정의됨을 보장하는 데 기여한다.
• 폐쇄형이며 반복이 없는 방법의 특성 덕분에 기울기 계산이나 역전파 없이도 직접적인 가중치 추정이 가능하다.