[논문 리뷰] A Closer Look at Deep Learning Heuristics: Learning rate restarts, Warmup and Distillation

Akhilesh Deepak Gotmare, Nitish Shirish Keskar외 2명|arXiv (Cornell University)|2018. 10. 29.

Neural Networks and Applications참고 문헌 28인용 수 70

한 줄 요약

본 논문은 mode connectivity와 SVCCA를 사용하여 세 가지 딥러닝 휴리스틱—cosine learning rate restarts, learning rate warmup, 및 knowledge distillation—의 학습 역학과 표현 전달을 이해한다.

ABSTRACT

The convergence rate and final performance of common deep learning models have significantly benefited from heuristics such as learning rate schedules, knowledge distillation, skip connections, and normalization layers. In the absence of theoretical underpinnings, controlled experiments aimed at explaining these strategies can aid our understanding of deep learning landscapes and the training dynamics. Existing approaches for empirical analysis rely on tools of linear interpolation and visualizations with dimensionality reduction, each with their limitations. Instead, we revisit such analysis of heuristics through the lens of recently proposed methods for loss surface and representation analysis, viz., mode connectivity and canonical correlation analysis (CCA), and hypothesize reasons for the success of the heuristics. In particular, we explore knowledge distillation and learning rate heuristics of (cosine) restarts and warmup using mode connectivity and CCA. Our empirical analysis suggests that: (a) the reasons often quoted for the success of cosine annealing are not evidenced in practice; (b) that the effect of learning rate warmup is to prevent the deeper layers from creating training instability; and (c) that the latent knowledge shared by the teacher is primarily disbursed to the deeper layers.

연구 동기 및 목표

• 왜 일반적인 휴리스틱이 딥러닝의 수렴 속도를 높이고 일반화 성능을 향상시키는지 이해하려는 동기 부여.
• loss landscape dynamics를 재시작과 스케줄 변경 across across에 걸쳐 평가하기 위해 mode connectivity를 적용.
• SVCCA를 사용하여 계층 표현을 비교하고 teacher에서 student로의 지식 전달를 정량화.
• 대규모 배치 학습에서 warmup이 계층별 가중치 변화와 안정성에 미치는 영향을 특성화하십시오.

제안 방법

• 독립적으로 학습된 최적해를 연결하는 저손실 곡선을 구성하고 다른 훈련 선택에 대한 강건성을 평가하기 위해 mode connectivity를 활용합니다.
• 학습 반복 간 및 네트워크 간(teacher vs student) 계층 간 표현 유사성을 측정하기 위해 SVCCA를 적용합니다.
• 세그먼트와 모드 곡선을 따라 손실 장벽을 비교하여 SGDR 동작을 경험적으로 분석합니다.
• 대규모 배치 학습에서 계층별 변화와 대체 가능한 FC 계층 동결의 가능성을 확인하기 위해 학습률 워밍업의 효과를 Examine합니다.
• SVCCA를 사용하여 distillation 여부에 상관없이 교사–학생 표현을 비교하여 지식 증류를 조사합니다.

실험 결과

연구 질문

• RQ1 코사인 어닐링(SGDR)이 실제로 장벽을 벗어나는가, 아니면 성능 향상을 위한 다른 효과에 의존하는가?
• RQ2 특히 깊은 계층에서의 워밍업이 계층별에 미치는 영향은 무엇인가?
• RQ3 지식이 교사에서 학생으로 어떻게 계층 간에 전달되는가? distillation 중에 표현은 어떻게 나타나는가?
• RQ4 모드 연결 곡선이 서로 다른 훈련 선택과 하이퍼파라미터에 대해 강건한가?
• RQ5 활성화 표현이 distillation이 가장 큰 이점을 제공하는 부분을 드러내는가?

주요 결과

• 코사인 어닐링의 주장된 이유는 일관되게 입증되지는 않으며; 재시작 후 이터레이션이 장벽을 넘지만 이것이 성능 향상을 완전히 설명하지는 않는다.
• 학습률 워밍업은 주로 더 깊은 계층의 가중치 변화를 제한하며, 이들을 고정시키는 것이 대규모 배치 학습에서 워밍업과 유사한 결과를 낳을 수 있다.
• 교사로부터의 잠재 지식은 주로 학생의 더 깊은(판별적) 계층에 분배된다.
• SGDR과 SGD의 초기 및 후기 학습 단계 간 표현 유사성은 다소 비슷하며, 재시작은 궤적의 변화를 야기한다.
• 증류된 학생 모델은 검증에서 독립적으로 학습한 모델보다 우수하며, 계층별 분석은 더 깊은 계층이 교사와 더 많이 일치함을 보여준다.
• 워밍업 및 디케이 스케줄은 특히 초기 계층보다 더 깊은 계층에 영향을 미침으로써 궤도에 영향을 준다.