[논문 리뷰] Understanding Synthetic Gradients and Decoupled Neural Interfaces

Wojciech Marian Czarnecki, Grzegorz Świrszcz외 4명|arXiv (Cornell University)|2017. 03. 01.

Neural Networks and Applications참고 문헌 11인용 수 28

한 줄 요약

이 논문은 합성 그래디언트(SGs)와 분리된 신경 인터페이스(DNIs)를 조사하며, 선형 및 딥 린어 모델에서 SGs가 임계점을 유지하고 수렴성을 보장함과 동시에 비동기적이고 잠금이 해제된 학습을 가능하게 함을 입증한다. 기능적 성능가치는 동일하지만, 백프로파게이션과는 달리 SGs로 학습된 네트워크는 내부 표현이著명하게 다름을 보이며, 저자들은 이와 같은 방법들인 피드백 정렬 및 직접 피드백 정렬을 하나의 프레임워크 안에서 통합한다.

ABSTRACT

When training neural networks, the use of Synthetic Gradients (SG) allows layers or modules to be trained without update locking - without waiting for a true error gradient to be backpropagated - resulting in Decoupled Neural Interfaces (DNIs). This unlocked ability of being able to update parts of a neural network asynchronously and with only local information was demonstrated to work empirically in Jaderberg et al (2016). However, there has been very little demonstration of what changes DNIs and SGs impose from a functional, representational, and learning dynamics point of view. In this paper, we study DNIs through the use of synthetic gradients on feed-forward networks to better understand their behaviour and elucidate their effect on optimisation. We show that the incorporation of SGs does not affect the representational strength of the learning system for a neural network, and prove the convergence of the learning system for linear and deep linear models. On practical problems we investigate the mechanism by which synthetic gradient estimators approximate the true loss, and, surprisingly, how that leads to drastically different layer-wise representations. Finally, we also expose the relationship of using synthetic gradients to other error approximation techniques and find a unifying language for discussion and comparison.

연구 동기 및 목표

• 합성 그래디언트(SGs)와 분리된 신경 인터페이스(DNIs)가 신경망 학습의 기능적, 표현적, 최적화 역학에 미치는 영향을 이해하기 위해.
• SGs가 피드포워드 네트워크에서 원래 최적화 문제의 임계점을 변화시킬지 여부를 판단하기 위해.
• 간단하고 복잡한 모델 모두에서 SG 기반 학습의 수렴 성질을 조사하기 위해.
• SGs로 학습된 네트워크와 표준 백프로파게이션으로 학습된 네트워크의 내부 표현과 기능 분해를 비교하기 위해.
• 피드백 정렬, 직접 피드백 정렬, 킥백 등 다양한 오차 근사 기법들을 그래디언트 예측 기반의 단일 프레임워크에 통합하기 위해.

제안 방법

• 저자들은 진정한 손실 그래디언트를 국소 정보를 사용해 예측하는 합성 그래디언트 모듈을 도입하여, 전체 백프로파게이션을 기다리지 않고도 비동기적 가중치 갱신을 가능하게 한다.
• 합성 그래디언트 네트워크를 메인 네트워크와 함께 훈련시키며, 그래디언트 예측 오차에 대한 별도의 손실을 사용한다.
• 이론적 분석을 위해, 특정 조건 하에서 선형 및 딥 린어 모델에서 학습 시스템의 수렴성을 증명한다.
• 심층 피드포워드 네트워크에서 SGs의 표현 학습에 미치는 영향을 실증적으로 평가하며, 계층별 활성화 및 기능 분해를 비교한다.
• 다양한 오차 근사 방법(FA, DFA, KB)을 합성 그래디언트 모델의 특수한 경우로 표현함으로써, 서로 다른 목표 함수와 파arametrization을 가진 프레임워크를 수립한다.
• SG 모듈이 진짜 음의 그래디언트를 예측하도록 모델링하여 백프로파게이션을 프레임워크에 통합함으로써, 표준 백프로파게이션을 특수한 경우로 포함시킨다.

실험 결과

연구 질문

• RQ1 합성 그래디언트를 도입하면 신경망에서 원래 최적화 문제의 임계점이 변화하는가?
• RQ2 특히 선형 및 딥 린어 모델에서 진짜 그래디언트 대신 합성 그래디언트를 사용할 경우, 학습 시스템의 수렴성을 입증할 수 있는가?
• RQ3 합성 그래디언트로 학습된 네트워크의 내부 표현과 기능 분해는 표준 백프로파게이션으로 학습된 네트워크와 어떻게 비교되는가?
• RQ4 합성 그래디언트와 피드백 정렬, 직접 피드백 정렬, 킥백 등의 다른 오차 근사 기법 간의 관계는 무엇인가?
• RQ5 다양한 방법들을 그래디언트 예측 기반의 단일 이론적 프레임워크에 통합할 수 있는가?

주요 결과

• 합성 그래디언트를 사용할 경우 원래 최적화 문제의 임계점은 유지되지만, 새로운 임계점이 도입될 수 있어 SGs가 일반적인 정규화 기법이 아님을 시사한다.
• 선형 및 딥 린어 모델에서, 적절한 조건 하에 합성 그래디언트를 사용한 학습 시스템이 진짜 그래디언트로 얻은 해와 유사한 해로 수렴함을 저자들이 증명한다.
• 기능적 성능가치는 동일하지만, 백프로파게이션과는 달리 SGs로 학습된 네트워크는 내부 표현이 정량적으로 다름을 보이며, 이는 기능 분해의 분리됨을 시사한다.
• 합성 그래디언트의 사용은 모듈이 비동기적이고 독립적으로 갱신될 수 있도록 해주는 잠금 해제된 학습을 가능하게 하며, 이는 피드백 정렬이나 관련 방법들과 공유하지 않는 특성이다.
• 저자들은 목표 함수와 파arametrization이 다른 합성 그래디언트 모델의 특수한 경우로 표현함으로써, 피드백 정렬, 직접 피드백 정렬, 킥백, 표준 백프로파게이션을 하나의 프레임워크 안에 통합한다.
• 합성 그래디언트 손실의 그래디언트를 업데이트 규칙에 포함시킬 경우(SG+prop), 학습이 크게 안정화되며, 이는 전체 백프로파게이션 없이도 좋은 그래디언트 예측이 좋은 손실 및 출력 예측을 암시함을 시사한다.