[논문 리뷰] Decoupling Learning Rates Using Empirical Bayes Priors.

Sareh Nabi, Houssam Nassif외 3명|arXiv (Cornell University)|2020. 02. 04.

Advanced Bandit Algorithms Research참고 문헌 69인용 수 3

한 줄 요약

이 논문은 일반선형모형에서 일阶 및 이阶 특징에 대한 학습률을 분리하기 위해 경험베이즈 방법을 제안하며, 실제 운영 데이터를 활용해 사후에 계층적 사전분포를 계산한다. 이 방법은 특히 저소통량 또는 소규모 배치 설정에서 모델 수렴과 성능을 향상시키며, 분류 및 문맥 bandit 응용 분야에서 입증된 성과를 보인다.

ABSTRACT

In this work, we propose an Empirical Bayes approach to decouple the learning rates of first order and second order features (or any other feature grouping) in a Generalized Linear Model. Such needs arise in small-batch or low-traffic use-cases. As the first order features are likely to have a more pronounced effect on the outcome, focusing on learning first order weights first is likely to improve performance and convergence time. Our Empirical Bayes method clamps features in each group together and uses the observed data for the deployed model to empirically compute a hierarchical prior in hindsight. We apply our method to a standard classification setting, as well as a contextual bandit setting in an Amazon production system. Both during simulations and live experiments, our method shows marked improvements, especially in cases of small traffic. Our findings are promising, as optimizing over sparse data is often a challenge. Furthermore, our approach can be applied to any problem instance modeled as a Bayesian framework.

연구 동기 및 목표

• 희소하거나 저소통량 데이터를 가진 모델 최적화 문제를 해결하기 위해 표준 학습률 스케줄링이 실패하는 상황을 다루기 위해.
• 특히 일阶 및 이阶 특징에 대해 학습률을 분리함으로써 수렴 속도와 모델 성능을 향상시키기 위해.
• 실제 모델 동작을 바탕으로 사후에 적합한 계층적 사전분포 추정 방법을 개발하기 위해.
• 실제 생산 환경에서 흔한 소규모 배치 또는 저소통량 환경에서도 효과적인 학습을 가능하게 하기 위해.
• 그룹화된 특징을 가진 임의의 베이지안 모델링 프레임워크에 일반화할 수 있도록 하기 위해.

제안 방법

• 배포된 모델의 관측 데이터를 활용해 계층적 사전분포를 경험적으로 계산함으로써, 그룹별로 다른 학습률 적응을 가능하게 한다.
• 각 그룹 내 특징(예: 일阶 대비 이阶)을 클램프하여 동일한 학습률를 공유함으로써, 그룹 간 학습률 분리를 달성한다.
• 실제 운영 환경에서의 모델 성능을 기반으로 사후에 사전분포를 추정하기 위해 경험베이즈 프레임워크를 적용한다.
• 베이지안 프레임워크를 활용해 그룹별로 다른 학습률를 가진 특징 가중치를 모델링함으로써 최적화 안정성을 향상시킨다.
• 실제 생산 환경에서 표준 분류 및 문맥 bandit 설정에 이 방법을 적용한다.
• 관측 데이터를 활용해 각 특징 그룹별 최적의 학습률 스케일링을 유추함으로써 수동 튜닝에 대한 의존도를 감소시킨다.

실험 결과

연구 질문

• RQ1 저소통량 환경에서 일阶 및 이阶 특징에 대한 학습률을 분리하면 모델 수렴에 도움이 되는가?
• RQ2 배포된 모델 데이터로부터 경험적으로 계층적 사전분포를 어떻게 추정할 수 있으며, 이를 학습률 적응에 어떻게 활용할 수 있는가?
• RQ3 제안된 방법은 소규모 배치 또는 저소통량 생산 환경에서 측정 가능한 성능 향상을 가져오는가?
• RQ4 이 방법은 분류 및 문맥 bandit과 같은 다양한 모델링 프레임워크로 일반화 가능한가?
• RQ5 수렴 속도와 정확도 측면에서 표준 학습률 스케줄링과 비교해 이 방법은 어떻게 다른가?

주요 결과

• 이 방법은 특히 저소통량 또는 소규모 배치 설정에서 모델 수렴 시간과 성능을 크게 향상시킨다.
• 실제 운영 환경에서의 데이터로부터 유도된 경험베이즈 사전분포가 특징 그룹 간 학습률 분리에 효과적으로 기여한다.
• 아마존의 생산 시스템 내 분류 및 문맥 bandit 작업 모두에서 뚜렷한 성능 향상이 이루어졌다.
• 데이터 기반으로 그룹별 학습률를 학습함으로써 수동 학습률 튜닝에 대한 민감도가 감소한다.
• 데이터가 희소할수록 성과가 두드러지게 향상되어, 이 방법이 실세계 저소통량 응용 분야에서의 가치를 입증한다.
• 이 프레임워크는 그룹화된 특징을 가진 임의의 베이지안 모델에 일반화 가능하므로 넓은 적용 가능성을 지닌다.