[논문 리뷰] Analytic Network Learning

Kar-Ann Toh|arXiv (Cornell University)|2018. 11. 20.

Neural Networks and Applications참고 문헌 34인용 수 8

한 줄 요약

이 논문은 모어-펜로즈 역행렬 투영을 기반으로 한 분석적, 기울기 없는 학습 방법을 제안하며, 역전파 없이 계층별 가중치 계산이 가능하다. 모어-펜로즈 역행렬의 최소 제곱 근사 성질을 활용함으로써, 소형에서 중형 데이터셋에서 표준 경량 학습법(SGD) 대비 최대 3470만 배 빠른 학습 속도를 달성하면서도 일반화 성능는 유사하게 유지한다.

ABSTRACT

Based on the property that solving the system of linear matrix equations via the column space and the row space projections boils down to an approximation in the least squares error sense, a formulation for learning the weight matrices of the multilayer network can be derived. By exploiting into the vast number of feasible solutions of these interdependent weight matrices, the learning can be performed analytically layer by layer without needing of gradient computation after an initialization. Possible initialization schemes include utilizing the data matrix as initial weights and random initialization. The study is followed by an investigation into the representation capability and the output variance of the learning scheme. An extensive experimentation on synthetic and real-world data sets validates its numerical feasibility.

연구 동기 및 목표

• 선형 대수학 원리에 기반한 기울기 없는 분석적 학습 프레임워크를 개발하는 것.
• 이러한 분석적 학습 체계의 표현 능력과 일반화 능력을 조사하는 것.
• 소형에서 중형 크기의 실제 및 시뮬레이션 데이터셋에서 수치적 타당성과 성능을 검증하는 것.
• 가중치 초기화, 스케일링, 희소성의 일반화 성능에 미치는 영향을 탐색하는 것.
• 딥 네트워크에서 역전파 기반 학습의 투명하고 분석 가능한 대안을 제공하는 것.

제안 방법

• 모어-펜로즈 역행렬을 통한 열공간과 행공간 투영을 활용하여 네트워크 학습을 최소 제곱 근사 문제로 수립한다.
• 선형 시스템의 대수적 구조를 활용하여 계층 간 상호의존적인 가중치 행렬 방정식을 유도한다.
• 데이터 행렬 또는 무작위 행렬을 사용하여 내부 가중치 행렬을 초기화함으로써 상호의존성을 분리한다.
• 기울기 계산이나 반복 최적화 없이 계층별로 분석적으로 가중치 행렬을 계산한다.
• 최적의 최소 제곱 해를 보장하기 위해 모어-펜로즈 역행렬을 사용하여 열공간과 행공간에 투영한다.
• 예를 들어 데이터 행렬을 초기 가중치로 사용하는 구조적 초기화를 통해 광범위한 해 공간을 활용하고 일반화 성능를 향상시킨다.

실험 결과

연구 질문

• RQ1 기울기 계산 없이도 다층 신경망 학습을 분석적으로 달성할 수 있는가?
• RQ2 모어-펜로즈 역행렬 기반 분석적 해법은 정확도와 속도 측면에서 기울기 기반 방법과 어떻게 비교되는가?
• RQ3 제안된 프레임워크에서 가중치 스케일링과 희소성이 일반화 성능에 미치는 영향은 무엇인가?
• RQ4 이 분석적 학습 체계에서 네트워크 깊이가 표현 능력과 일반화에 어떤 영향을 미치는가?
• RQ5 상호의존적인 가중치 행렬의 해 공간은 지능적인 초기화를 통해 일반화 성능 향상에 활용될 수 있는가?

주요 결과

• 제안된 분석적 학습 방법은 기존 기울기 기반 학습 대비 최대 3.47×10⁷배 빠른 학습 속도 향상을 달성한다.
• 42개의 실제 데이터셋에서 분석적 방법의 예측 정확도는 표준 기울기 기반 학습과 유사하다.
• 다섯 계층 네트워크는 이중 및 삼중 계층 네트워크보다 총 평균 정확도 향상이 2퍼센트 이상이다.
• 가중치 스케일링은 수용 필드의 희소성보다 이중 및 삼중 계층 네트워크에서 일반화 성능에 더 큰 영향을 미친다.
• 이중, 삼중, 오차 계층 네트워크 아키텍처에서 수치적 타당성이 입증되었으며 안정성 문제도 최소한으로 나타났다.
• 데이터 행렬을 초기 가중치로 사용하거나 무작위 초기화를 통해 상호의존적인 가중치 방정식의 분리가 효과적으로 이루어졌으며, 이로써 분석적 해법이 가능해졌다.