[논문 리뷰] A New Backpropagation Algorithm without Gradient Descent

Varun Ranganathan, Sayee Natarajan|arXiv (Cornell University)|2018. 01. 25.

Neural Networks and Applications참고 문헌 5인용 수 9

한 줄 요약

이 논문은 인공 신경망에서 기울기 하강법 대신 무어-펜로즈 쌍대역행법을 사용하여 가중치와 편향 갱신을 계산하는 새로운 백프로파게이션 알고리즘을 제안한다. 최소 제곱법에 따라 최적의 매개변수를 직접 해법으로 구함으로써 반복적인 기울기 계산을 피하고, 미분 가능하지 않거나 ReLU 유사 활성화 함수를 사용하는 경우에도 효과적으로 작동하며, 기울기 기반 최적화에 의존하지 않고 월드 캘리포니아 유방암 데이터셋에서 최대 90.4%의 정확도를 달성한다.

ABSTRACT

The backpropagation algorithm, which had been originally introduced in the 1970s, is the workhorse of learning in neural networks. This backpropagation algorithm makes use of the famous machine learning algorithm known as Gradient Descent, which is a first-order iterative optimization algorithm for finding the minimum of a function. To find a local minimum of a function using gradient descent, one takes steps proportional to the negative of the gradient (or of the approximate gradient) of the function at the current point. In this paper, we develop an alternative to the backpropagation without the use of the Gradient Descent Algorithm, but instead we are going to devise a new algorithm to find the error in the weights and biases of an artificial neuron using Moore-Penrose Pseudo Inverse. The numerical studies and the experiments performed on various datasets are used to verify the working of this alternative algorithm.

연구 동기 및 목표

• 신경망의 가중치와 편향 갱신에 기울기 하강법에 의존하지 않는 백프로파게이션 방법을 개발하는 것.
• 기울기 계산을 피함으로써, 비미분 가능하거나 조각별 선형 활성화 함수를 사용하는 신경망의 학습을 가능하게 하는 것.
• 기울기 하강법의 반복적 최적화를 대체하여 행렬 기반 해법을 사용한 무작위 역행법을 통해 학습 효율성을 향상시키는 것.
• 제안된 방법의 실현 가능성과 성능을 벤치마크 및 실제 데이터셋에서 검증하는 것.
• 이 방법이 ReLU 유사 활성화 함수(예: 소프트플러스, 리이akyReLU 등)와의 호환성에 대해 탐색하는 것.

제안 방법

• 이 방법은 입력 데이터 행렬의 무어-펜로즈 쌍대역행법을 사용하여 최소 제곱법에 따라 오차를 최소화하는 최적의 매개변수를 직접 계산함으로써 가중치와 편향 갱신을 수행한다.
• 각 뉴런이 입력마다 개별적인 가중치와 편향을 가지도록 수정하여, 쌍대역행법 계산에 적합한 선형 시스템 형식을 구성한다.
• 알고리즘은 활성화 함수가 출력 범위에서 가역 가능하다고 가정하며, 이는 목표 출력에 역함수를 적용하여 쌍대역행법 해법을 위한 목표 벡터를 형성할 수 있음을 의미한다.
• 쌍대역행법은 특이값 분해(SVD)를 통해 계산되어, 랭크 부족 또는 과다 결정된 시스템에서도 안정적이고 유일한 해를 보장한다.
• 이 방법은 계층별로 적용되며, 각 뉴런의 입력-출력 관계를 쌍대역행법로 해결할 수 있는 선형 시스템으로 간주한다.
• 기울기 역전파를 피하기 위해 반복 최적화를 거치지 않고, 오차를 최소화하는 데 필요한 매개변수 갱신을 직접 해법으로 도출한다.

실험 결과

연구 질문

• RQ1 기울기 하강법에 의존하지 않는 가중치와 편향 갱신을 위한 백프로파게이션 알고리즘을 설계할 수 있는가?
• RQ2 무어-펜로즈 쌍대역행법은 인공 신경망 학습에 기울기 하강법의 타당한 대안이 될 수 있는가?
• RQ3 쌍대역행법 기반 방법은 비미분 가능하거나 ReLU 유사 활성화 함수에서 얼마나 잘 작동하는가?
• RQ4 이 방법은 기울기 기반 최적화 없이도 실제 데이터셋에서 경쟁 가능한 정확도를 달성할 수 있는가?
• RQ5 이 방법의 활성화 함수 호환성 및 수렴 속도 측면에서의 제약 사항은 무엇인가?

주요 결과

• 제안된 쌍대역행법 기반 백프로파게이션은 1000 에포크 후 월드 캘리포니아 유방암 데이터셋에서 90.4%의 검증 정확도를 달성하여 실제 데이터에서 뛰어난 성능을 보였다.
• 두 나선 문제에서는 소프트플러스 활성화 함수를 사용했음에도 불구하고 약 63%의 정확도를 기록했으며, 이는 상당히 합리적인 성능이다.
• 동심원 문제에서는 61%의 정확도를 기록했으며, 이는 소프트플러스 활성화 함수가 원형 패턴에 최적화되어 있지 않기 때문에 제한된 성능에 기인한다.
• XOR 문제에서는 81%의 검증 정확도를 달성하여, 비표준 활성화 함수를 사용하고 있음에도 불구하고 비선형 결정 경계를 학습할 수 있음을 보여주었다.
• 학습 및 검증 오차는 수백 에포크 후 안정화되었으며 수렴을 나타내었지만, 초기 학습 단계에서는 오차 곡선이 불안정한 경향을 보였다.
• 이 방법은 역함수가 전체 실수선에서 정의되는 활성화 함수(예: 소프트플러스)와 함께 가장 효과적이며, 탄젠트 함수처럼 정의역 제약이 있는 함수에서는 성능이 떨어진다.