[논문 리뷰] Regularization and Reparameterization Avoid Vanishing Gradients in Sigmoid-Type Networks

Leni Ven, Johannes Lederer|arXiv (Cornell University)|2021. 06. 04.

Machine Learning and ELM인용 수 6

한 줄 요약

이 논문은 ℓ₂ 정규화와 파rameter 재스케일링이 시그모이드 유형 네트워크, 특히 tanh 활성화를 사용하는 네트워크에서 기울기 소실 문제를 효과적으로 방지할 수 있음을 제안한다. 큰 개별 파rameter와 누적된 층 간 영향이라는 두 가지 별개의 원인을 수학적으로 규명함으로써, ℓ₂ 정규화와 스케일링이 둘 다 문제를 해결하고 시그모이드 네트워크가 딥러닝에서 ReLU와 경쟁 가능한 대안이 될 수 있음을 보여준다.

ABSTRACT

Deep learning requires several design choices, such as the nodes' activation functions and the widths, types, and arrangements of the layers. One consideration when making these choices is the vanishing-gradient problem, which is the phenomenon of algorithms getting stuck at suboptimal points due to small gradients. In this paper, we revisit the vanishing-gradient problem in the context of sigmoid-type activation. We use mathematical arguments to highlight two different sources of the phenomenon, namely large individual parameters and effects across layers, and to illustrate two simple remedies, namely regularization and rescaling. We then demonstrate the effectiveness of the two remedies in practice. In view of the vanishing-gradient problem being a main reason why tanh and other sigmoid-type activation has become much less popular than relu-type activation, our results bring sigmoid-type activation back to the table.

연구 동기 및 목표

• 시그모이드 유형 네트워크, 특히 tanh 및 관련 활성화 함수의 맥락에서 기울기 소실 문제의 재검토.
• 기울기 소실의 두 가지 별개의 원인 규명: 큰 개별 파rameter와 다수의 층 간의 상호작용 효과.
• 큰 파rameter에 대응하는 ℓ₂ 정규화와 깊은 아키텍처에 대응하는 재스케일링 기법을 제안하고 수학적으로 검증.
• 이러한 조치들이 시그모이드 네트워크의 학습 안정성과 성능을 복원할 수 있으며, 계산 비용 증가 없이 가능함을 보여줌.

제안 방법

• 기울기 소실 문제를 분석적으로 모델링하기 위해 l개의 tanh 뉴런으로 구성된 단순 피드포워드 네트워크를 사용하며, 각 뉴런은 단일 학습 가능한 가중치를 가짐.
• 두 가지 상황에서 기울기 행동을 분석: 큰 개별 파rameter가 존재하는 경우와 많은 층이 스택된 경우.
• 큰 파rameter 상황에서의 해결책으로 ℓ₂ 정규화를 도입하여 기울기 감쇠가 제한됨을 보여줌.
• 깊은 네트워크에서 기울기 안정성을 확보하기 위해 가중치 또는 활성화를 재스케일링하는 재파rameter화 기법을 제안.
• 다양한 랜덤 시드를 사용한 분류 작업에서 실험적으로 방법을 평가하며 정확도와 기울기 통계량을 비교.
• 두 기법을 동시에 적용하여 상호보완적 효과를 평가하고, ReLU와의 비교를 포함함.

실험 결과

연구 질문

• RQ1 시그모이드 유형 네트워크에서 기울기 소실 문제의 별개 수학적 원인은 무엇인가?
• RQ2 ℓ₂ 정규화는 시그모이드 네트워크에서 큰 개별 파rameter로 인한 기울기 소실을 효과적으로 완화할 수 있는가?
• RQ3 재파라미터화(재스케일링)는 많은 층을 가진 깊은 시그모이드 네트워크에서 기울기 소실을 방지할 수 있는가?
• RQ4 정규화와 재스케일링을 함께 적용하면 시그모이드 네트워크가 실질적으로 ReLU 네트워크의 성능을 따라잡거나 뛰어넘을 수 있는가?
• RQ5 이러한 단순하고 이론적으로 타당한 기법들은 현대 딥러닝에서 시그모이드 유형 활성화 함수의 실용적 타당성을 복원할 수 있는가?

주요 결과

• 시그모이드 네트워크에서 큰 개별 파rameter는 기울기 소실을 유발하며, 이는 ℓ₂ 정규화를 통해 효과적으로 완화될 수 있다.
• 많은 층이 스택된 깊은 네트워크에서는 누적된 효과로 인해 기울기 소실이 발생하며, 이는 가중치 또는 활성화를 재스케일링함으로써 해결된다.
• ℓ₂ 정규화와 재스케일링의 조합은 큰 파ram터 상황과 깊은 네트워크 상황 양쪽에서 표준 학습 대비 더 빠른 수렴과 높은 테스트 정확도를 달성한다.
• 실험 측정 결과, 표준 하드웨어에서의 런타임 측정을 통해 이 조치들이 유의미한 계산 오버헤드를 유발하지 않음을 확인하였다.
• 실증 결과로, 정규화와 스케일링를 적용한 tanh 네트워크가 표준 학습보다 우수한 성능을 보이며, 일부 설정에서는 ReLU를 뛰어넘는 성능을 기록하였다.
• 본 연구는 이러한 단순하고 수학적으로 타당한 기법을 통해 시그모이드 유형 활성화 함수가 여전히 딥러닝에서 강력한 후보임을 입증하였다.