[논문 리뷰] Dynamic learning rate using Mutual Information

Shrihari Vasudevan|arXiv (Cornell University)|2018. 05. 18.

Stochastic Gradient Optimization Techniques참고 문헌 13인용 수 6

한 줄 요약

이 논문은 딥 네URAL 네트워크 훈련 중에 학습률을 동적으로 조정하기 위해 네트워크 출력과 진짜 레이블 간의 상호정보(MI)를 사용하는 방법을 제안한다. MI의 변화와 기준 측정치(입력-출력 MI)에 대한 상대적 값을 추적함으로써, 고정된 스케줄과 비교해도 경쟁력 있거나 더 나은 성능을 더 적은 훈련 시간 내에 달성할 수 있는 적응형 학습률 스케줄링이 가능해진다.

ABSTRACT

This paper demonstrates dynamic hyper-parameter setting, for deep neural network training, using Mutual Information (MI). The specific hyper-parameter studied in this paper is the learning rate. MI between the output layer and true outcomes is used to dynamically set the learning rate of the network through the training cycle; the idea is also extended to layer-wise setting of learning rate. Two approaches are demonstrated - tracking relative change in mutual information and, additionally tracking its value relative to a reference measure. The paper does not attempt to recommend a specific learning rate policy. Experiments demonstrate that mutual information may be effectively used to dynamically set learning rate and achieve competitive to better outcomes in competitive to better time.

연구 동기 및 목표

• 상호정보(MI)가 딥 네URAL 네트워크에서 동적 하이퍼파ram터 튜닝을 위한 신뢰할 수 있는 지표가 될 수 있는지 조사하는 것.
• 은닉층 활성화와 진짜 레이블 간의 MI를 사용하여 적응형 학습률 스케줄링을 이끄는 것이 가능한지 탐색하는 것.
• MI 기반 학습률 적응이 정적 학습률 정책과 비교해 정확도 및 훈련 시간 측면에서 승승하거나 동등한 성능을 낼 수 있는지 평가하는 것.
• 각 레이어의 최적성 측도로 MI를 사용하여 레이어별 학습률 적응을 확장하는 것.
• 기타 하이퍼파ram터(예: 배치 크기)의 동적 변화를 다룰 수 있는 방법의 강건성을 입증하는 것.

제안 방법

• 매 에포크마다 무작위로 추출된 훈련 데이터 서브셋을 사용해 KSG 추정기로 최종 레이어 활성화와 진짜 레이블 간의 상호정보(MI)를 계산한다(IHYLL).
• 연속된 에포크 간의 IHYLL 변화율에 기반해 동적 학습률 정책을 정의하며, 변화의 크기와 방향에 따라 학습률을 증가 또는 감소시킨다.
• 확장된 정책은 IHYLL의 상대적 변화와 입력-출력 MI(IXY)에 대한 정규화된 값도 포함하여, 진전 정도를 기준 기반으로 측정한다.
• 임계값과 스케일링 인자(γ1, γ2, γ3)를 사용한 조각별 규칙에 따라 학습률을 업데이트하며, 다양한 데이터셋에 대해 별도로 튜닝한다.
• MI를 각 레이어별로 계산하고 개별 학습률 조정을 적용함으로써, 네트워크 전반 및 레이어별 동적 학습률 스케줄링을 지원한다.
• 수렴 곡선을 기반으로 매 에포크에 고정된 샘플 크기(1000)를 사용함으로써 MI 추정을 최적화한다.

실험 결과

연구 질문

• RQ1 딥 러닝에서 네트워크 출력과 진짜 레이블 간의 상호정보(MI)가 동적 학습률 조정을 위한 신뢰할 수 있는 신호로 사용될 수 있는가?
• RQ2 MI의 변화와 상대적 값을 동시에 추적할 경우, 정적 또는 기울기 기반 학습률 정책과 비교해 훈련 효율성과 모델 성능이 향상되는가?
• RQ3 기타 하이퍼파ram터(예: 배치 크기)의 변화에 대해 MI 기반 학습률 스케줄링이 수동 재튜닝 없이 효과적으로 대응할 수 있는가?
• RQ4 레이어별 MI 기반 학습률 적응은 딥 네트워크의 훈련 동역학을 향상시키는 데 실현 가능하고 유익한가?
• RQ5 정확도 및 훈련 시간 측면에서 MI 기반 동적 학습률은 표준 고정 학습률 스케줄과 비교해 어떻게 다른가?

주요 결과

• MI 기반 동적 학습률 정책은 MNIST 및 CIFAR-10 데이터셋에서 고정 학습률 정책과 비교해 경쟁력 있거나 더 높은 테스트 정확도를 달성했다.
• 동적 학습률 정책을 사용한 훈련은 유사하거나 우수한 성능에 도달하는 데 더 적은 시간이 소요되어 훈련 효율성이 향상됨을 시사했다.
• 훈련 중에 배치 크기를 증가시켜도 이 방법은 성능을 유지하기 위해 자동으로 학습률을 조정하는 데 성공했으며, 수동 조정 없이도 기능했다.
• 기준 측정치(IXY)의 사용은 네트워크가 정보 용량에 비해 성능이 열 劣할 때 이를 감지하고 보정하는 데 도움이 되었으며, 학습률 조정에 유용했다.
• 레이어별 MI 기반 학습률 스케줄링은 경쟁력 있는 성능을 빠른 시간 내에 달성했으며, MI를 사용한 레이어별 최적화의 실현 가능성을 입증했다.
• KSG 추정기는 샘플 크기가 1000일 때 안정적인 MI 추정을 제공하여 대규모 훈련에서 매 에포크의 MI 계산이 가능하게 했다.