[논문 리뷰] Learning compositional functions via multiplicative weight updates

Jeremy Bernstein, Jiawei Zhao외 4명|arXiv (Cornell University)|2020. 06. 25.

Neural Networks and Applications참고 문헌 46인용 수 5

한 줄 요약

이 논문은 신경망 내의 조합 함수 구조에 영감을 얻어 제안된 다중 가중치 갱신 최적화기 Madam을 제시한다. 조합 함수에 특화된 내림림 보조 정리(Descent Lemma)를 활용하여, 학습률 조정 없이도 깊은 네트워크의 안정적인 학습을 가능하게 하고, 압축된 가중치를 위한 저비트, 로그 수 체계 표현을 자연스럽게 지원함으로써 생물학적 시냅스 특성과도 부합한다.

ABSTRACT

Compositionality is a basic structural feature of both biological and artificial neural networks. Learning compositional functions via gradient descent incurs well known problems like vanishing and exploding gradients, making careful learning rate tuning essential for real-world applications. This paper proves that multiplicative weight updates satisfy a descent lemma tailored to compositional functions. Based on this lemma, we derive Madam -- a multiplicative version of the Adam optimiser -- and show that it can train state of the art neural network architectures without learning rate tuning. We further show that Madam is easily adapted to train natively compressed neural networks by representing their weights in a logarithmic number system. We conclude by drawing connections between multiplicative weight updates and recent findings about synapses in biology.

연구 동기 및 목표

• 기울기 하강법이 조합 함수 학습에서 기울기 소실/폭발 문제로 인해 불안정해지는 것을 해결하기 위해.
• 깊은 신경망의 조합적 구조를 존중하는 최적화 프레임워크를 개발하기 위해.
• 수동적인 학습률 조정 없이도 종단 간 학습을 가능하게 하기 위해.
• 가중치에 대해 로그 수 체계를 사용한 자연스러운 압축 신경망을 지원하기 위해.
• 다중 가중치 갱신과 생물학적 시냅스 가소성 간의 연결 고리를 설정하기 위해.

제안 방법

• 깊은 네트워크 함수 클래스의 변동 분석를 통해 조합 함수에 특화된 내림림 보조 정리를 유도한다.
• 가중치 갱신이 덧셈이 아닌 곱셈 방식인 Adam 최적화기의 다중 변종인 Madam을 제안한다.
• 로그 공간에서의 상대적 변화를 사용해 가중치 갱신을 구현함으로써, 로그 수 체계 표현을 가능하게 한다.
• 학습 안정화와 지수적 가중치 증가 방지를 위해 가중치 클리핑 메커니즘을 도입한다.
• 신경과학에서 다일의 원칙에 부합하기 위해 학습 전반에 걸쳐 가중치의 부호를 유지한다.
• 다중 갱신의 타당성을 뒷받침하기 위해 상대적 거리 척도인 '딥 상대 신뢰도'(deep relative trust)를 사용한다.

실험 결과

연구 질문

• RQ1 다중 가중치 갱신이 깊은 신경망의 조합 함수에 대해 안정적인 최적화 경로를 제공할 수 있는가?
• RQ2 Madam과 같은 다중 최적화기로 인해 기존 학습 설정에서 학습률 조정이 불필요해지는가?
• RQ3 다중 갱신이 로그 수 체계에 자연스럽게 구현되어 효율적인 저정밀도 추론을 가능하게 하는가?
• RQ4 다중 갱신은 생물학적 시냅스 가소성과 고정된 부호 및 제한된 다이내믹 레인지 등의 해부학적 제약 조건과 어떻게 관련되는가?
• RQ5 가중치 클리핑이 다중 최적화에서 수렴성과 일반화 성능에 어떤 영향을 미치는가?

주요 결과

• Madam는 학습률 조정 없이도 CIFAR-10에서 ResNet-18의 안정적 학습을 달성하였으며, Adam 및 SGD와 동등하거나 그 이상의 성능을 기록하였다.
• 다중 갱신의 사용으로 인해 가중치가 로그 수 체계에서 직접 표현될 수 있어, 정밀도 손실 최소화로 인해 자연스럽게 압축된 신경망을 지원할 수 있었다.
• Madam의 가중치 클리핑은 학습 안정화와 테스트 성능 정규화를 도모하였으며, 낮은 임계값일수록 일반화 성능 향상이 뚜렷했다.
• Madam는 학습 전반에 걸쳐 가중치의 부호를 유지하여 다일의 원칙과 부합하였으며, 부호 비트 저장이 불필요해졌다.
• η₀ = 0.001일 때 B비트 Madam의 다이내믹 레인지가 생물학적 스파인 헤드 부피의 관측된 60배 범위와 일치하여 생물학적 타당성이 높다고 제안되었다.
• 실험 결과, Madam가 학습률 조정 없이 최신 기술 아키텍처를 학습시킬 수 있어 하이퍼파rameter 민감도에 대한 강건성을 보였다.