[논문 리뷰] Backprop Evolution

Maximilian Alber, Irwan Bello외 4명|arXiv (Cornell University)|2018. 08. 08.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 도메인 특화 언어에서 기본 함수의 조합으로 간주되는 역전파 방정식을 통해 자동으로 새로운 역전파 업데이트 규칙을 발견하기 위한 진화적 탐색 방법을 제안한다. 초기 학습 단계에서 표준 역전파보다 우수한 성능을 보이며, 20 에포크 후 더 큰 모델에서 최대 15% 높은 정확도를 달성하는 동시에 수렴 시 표준 성능을 유지한다.

ABSTRACT

The back-propagation algorithm is the cornerstone of deep learning. Despite its importance, few variations of the algorithm have been attempted. This work presents an approach to discover new variations of the back-propagation equation. We use a domain specific lan- guage to describe update equations as a list of primitive functions. An evolution-based method is used to discover new propagation rules that maximize the generalization per- formance after a few epochs of training. We find several update equations that can train faster with short training times than standard back-propagation, and perform similar as standard back-propagation at convergence.

연구 동기 및 목표

• 딥 러닝에서 일반화 성능을 향상시키는 개선된 역전파 업데이트 규칙을 자동으로 발견하는 것.
• 신경망 학습에 핵심적인 역할을 하면서도 실용적인 변형이 부족한 역전파에 대한 문제를 해결하는 것.
• 수학적 연산의 도메인 특화 언어를 기반으로 한 진화적 탐색이 표준 역전파보다 더 나은 학습 역학을 도출할 수 있는지 탐색하는 것.
• 발견된 규칙이 다양한 모델 아키텍처와 학습 기간 동안 일반화되는지 평가하는 것.
• 특히 초기 정지 또는 하이퍼파rameter 탐색 설정에서 유용한, 수렴 속도를 가속화하면서도 최종 성능을 희생시키지 않는 업데이트 규칙을 식별하는 것.

제안 방법

• 이 방법은 도메인 특화 언어(DSL)를 사용하여 역전파 업데이트 방정식을 기본 함수의 조합으로 표현한다: 피연산자(예: 가중치, 활성화, 기울기), 단항 함수(예: 전치, ReLU, 드롭아웃), 이항 함수(예: 덧셈, 원소별 곱셈).
• 진화적 컨트롤러는 사전 정의된 함수 및 피연산자 집합에서 선택하여 후보 업데이트 방정식을 생성하고 변형하며, 오차 기울기 업데이트 $ b^{p}_i $ 를 위한 식을 구성한다.
• 각 후보 방정식은 고정된 신경망 아키텍처(예: WRN 16-2, WRN 10-1)를 사용해 제안된 업데이트 규칙로 학습시키고, 고정된 에포크 수 후 검증 정확도를 보고하여 평가된다.
• 탐색은 몇 에포크 후 일반화 성능을 최대화하도록 조건화되며, 다양한 모델 크기와 학습 기간에 대해 테스트하여 탄력성과 이식 가능성 평가를 수행한다.
• 진화 과정은 컨트롤러-워커 아키텍처를 사용한다: 컨트롤러는 변형된 식의 배치를 워커에게 전송하고, 워커는 모델을 학습시켜 검증 정확도를 반환하여 선택 및 추가 변형을 수행한다.
• 이 방법은 표준 SGD와 모멘텀이 있는 SGD 모두를 평가하며, 기준 표준 역전파와의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 도메인 특화 언어를 기반으로 한 진화적 탐색이 초기 학습 단계에서 표준 역전파보다 더 잘 일반화하는 역전파 업데이트 규칙을 발견할 수 있는가?
• RQ2 발견된 업데이트 규칙은 같은 모델의 더 깊거나 넓은 변형인 더 큰 신경망 아키텍처로 일반화되는가?
• RQ3 발견된 규칙는 수렴 시 성능을 유지하는가, 아니면 오직 초기 학습 역학을 향상시키는 데서만 효과가 있는가?
• RQ4 최적화에 모멘텀을 포함할 경우, 발견된 업데이트 규칙의 탄력성은 어떻게 변화하는가?
• RQ5 발견된 방정식들 사이에 향후 더 효과적인 역전파 변종 설계에 기여할 수 있는 일관된 구조적 패턴이 존재하는가?

주요 결과

• 진화적 탐색은 WRN 16-2에서 20 에포크 학습 후 검증 정확도에서 표준 역전파를 초월하는 업데이트 방정식을 발견했으며, SGD의 경우 최대 1.2% 향상되고, 모멘텀이 있는 SGD의 경우 최대 0.8% 향상되었다.
• 더 큰 WRN 28-10 모델에서는 최고의 발견된 방정식이 SGD로 학습한 경우 표준 역전파 대비 최대 15% 높은 정확도를 달성했고, 모멘텀이 있는 경우 10% 높은 정확도를 기록했다.
• 100 에포크 동안 학습한 결과, 발견된 방정식은 표준 역전파와 유사한 성능을 보였으며, 이는 주로 초기 수렴 속도를 가속화하지만 최종 일반화 성능를 향상시키지 못한다는 것을 시사한다.
• 가장 우수한 성능을 보인 방정식들은 다양한 모델 아키텍처와 학습 제약 조건에서 탄력적이었으며, 이는 탐색 단계에서 더 작은 모델을 효과적으로 사용할 수 있음을 시사한다.
• 모멘텀이 있는 SGD의 경우 탐색 결과가 기준선과 유사했으며, 이는 모멘텀이 업데이트 규칙 선택에 대한 민감도를 감소시킬 수 있음을 나타낸다.
• 특정 방정식들, 예를 들어 $ (0.5g^{p}_{i}) / ( ext{softplus}(rac{ ext{d}h_{i}}{ ext{d}h^{p}_{i}}}) + 0.1) $ 는 87.72%의 정확도를 기록했고, $ (g^{p}_{i} imes ext{clip}_{1.0}(b^{p}_{i+1} rac{ ext{d}h^{p}_{i+1}}{ ext{d}h_{i}})) $ 는 88.93%의 정확도를 달성하여 모두 초기 학습에서 기준선을 초월했다.