[논문 리뷰] Random orthogonal additive filters: a solution to the vanishing/exploding gradient of deep neural networks

Andrea Ceni|arXiv (Cornell University)|2022. 10. 03.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 임의의 직교 추가 필터(로아FNN 및 로아RNN)라는 새로운 딥 네ural 네트워크 아키텍처를 제안한다. 이는 활성화 함수의 직교 필터링과 잔차 유사한 덧셈을 통해 수학적으로 기울기 소실 또는 기울기 폭발을 방지한다. 이 방법은 입력-출력 자코비안에 대한 분석적 경계를 통해 안정적인 기울기 흐름을 보장하며, 50,000층의 피드포워드 네트워크와 10,000단계의 순환 시퀀스를 초고속 수렴과 최첨단 성능으로 학습할 수 있다.

ABSTRACT

Since the recognition in the early nineties of the vanishing/exploding (V/E) gradient issue plaguing the training of neural networks (NNs), significant efforts have been exerted to overcome this obstacle. However, a clear solution to the V/E issue remained elusive so far. In this manuscript a new architecture of NN is proposed, designed to mathematically prevent the V/E issue to occur. The pursuit of approximate dynamical isometry, i.e. parameter configurations where the singular values of the input-output Jacobian are tightly distributed around 1, leads to the derivation of a NN's architecture that shares common traits with the popular Residual Network model. Instead of skipping connections between layers, the idea is to filter the previous activations orthogonally and add them to the nonlinear activations of the next layer, realising a convex combination between them. Remarkably, the impossibility for the gradient updates to either vanish or explode is demonstrated with analytical bounds that hold even in the infinite depth case. The effectiveness of this method is empirically proved by means of training via backpropagation an extremely deep multilayer perceptron of 50k layers, and an Elman NN to learn long-term dependencies in the input of 10k time steps in the past. Compared with other architectures specifically devised to deal with the V/E problem, e.g. LSTMs for recurrent NNs, the proposed model is way simpler yet more effective. Surprisingly, a single layer vanilla RNN can be enhanced to reach state of the art performance, while converging super fast; for instance on the psMNIST task, it is possible to get test accuracy of over 94% in the first epoch, and over 98% after just 10 epochs.

연구 동기 및 목표

• 1990년대 이래로 학습에 악영향을 미쳐온 깊은 신경망에서의 장기 기울기 소실/폭발 문제를 해결하기 위해.
• 무한 깊이에서도 안정적인 기울기 동역학을 분석적으로 보장하는 딥 네트워크 아키텍처를 설계하기 위해.
• 배치 정규화나 기울기 클리핑과 같은 히우리스틱에 의존하지 않고 안정성을 확보하기 위해.
• 극히 깊은 피드포워드 및 순환 네트워크에서 아키텍처의 효과성을 입증하기 위해.
• 복잡한 아키텍처인 ResNets나 LSTMs와 비교해 이론적으로 탄탄하고 단순한 대안을 제공하기 위해.

제안 방법

• 각 층이 비선형 활성화 함수와 직교적으로 필터링된 이전 활성화 함수의 볼록 조합을 계산하는 새로운 피드포워드 네트워크(로아FNN)를 제안한다.
• 랜덤 반직교 행렬 $O_l$을 사용해 이전 층의 출력을 필터링하고 추가함으로써 입력-출력 자코비안의 등장성 성질을 보장한다.
• 비선형 성분과 필터링된 성분 간의 균형을 제어하기 위해 학습 가능한 스칼라 하이퍼파ram터 $\rho$를 도입한다.
• 입력-출력 자코비안의 최대 특이값에 대한 분석적 경계를 유도하여, 온건한 조건 하에서 기울기 안정성을 증명한다.
• 동일한 원리를 순환 네트워크(roaRNN)에 적용하여 장기 의존성 작업을 위한 시간에 따른 학습을 가능하게 한다.
• 행렬 노름 부등식과 반직교 행렬의 등장성 성질을 활용해 자코비안의 노름이 유계임을 증명한다.

실험 결과

연구 질문

• RQ1 무한 깊이에서도 기울기 소실 또는 폭발이 수학적으로 불가능한 깊은 신경망 아키텍처를 설계할 수 있는가?
• RQ2 이전 활성화 함수의 직교 필터링이 깊은 네트워크에서 기울기 역동성을 어떻게 안정화하는가?
• RQ3 게이트가 없는 단순한 아키텍처가 LSTMs나 ResNets와 같은 복잡한 모델보다 장기 시퀀스 학습에서 더 우수한 성능을 낼 수 있는가?
• RQ4 구조화된 행렬(예: 항등행렬)과 비교해 임의의 직교 행렬이 학습 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 직교 추가 필터의 사용이 손실 곡면을 암묵적으로 정규화하고 일반화 성능을 향상시키는가?

주요 결과

• 제안된 로아FNN 아키텍처는 입력-출력 자코비안에 대한 분석적 경계를 통해 무한 깊이 근처에서도 기울기 소실 및 폭발을 방지한다.
• 50,000층의 피드포워드 네트워크가 백프로파게이션을 통해 성공적으로 학습되었으며, 이는 방법의 확장성과 타당성을 입증한다.
• 로아RNN 모델은 psMNIST에서 단 한 에포크 만에 94% 이상의 테스트 정확도를 달성했고, 10 에포크 후에는 98% 이상을 기록하여 표준 RNN 및 LSTMs를 능가했다.
• 단일 층의 바닐라 RNN에 로아RNN 메커니즘을 통합한 모델이 장기 의존성 작업에서 최첨단 성능을 달성했다.
• 이 방법은 LSTMs나 ResNets처럼 학습 가능한 게이트나 스킵 연결에 의존하지 않음에도 불구하고, 더 복잡한 아키텍처들보다 단순성과 효과성이 뛰어나다.
• 경험적 결과는 랜덤 직교 필터가 손실 곡면을 암묵적으로 정규화하여 학습 역동성을 향상시킬 수 있음을 시사한다.