[論文レビュー] Decoupling Learning Rates Using Empirical Bayes Priors.

Sareh Nabi, Houssam Nassif+3 more|arXiv (Cornell University)|Feb 4, 2020

Advanced Bandit Algorithms Research参考文献 69被引用数 3

ひとこと要約

本論文は、一般化線形モデルにおける一次および二次の特徴量の学習率を分離するための経験的ベイズ手法を提案する。実稼働環境での観測データを用いて、後から階層的事前分布を計算する。この手法は、特に低流量または小バッチ設定において、モデルの収束性と性能を向上させ、分類および文脈バンディットの応用において実証された効果を示す。

ABSTRACT

In this work, we propose an Empirical Bayes approach to decouple the learning rates of first order and second order features (or any other feature grouping) in a Generalized Linear Model. Such needs arise in small-batch or low-traffic use-cases. As the first order features are likely to have a more pronounced effect on the outcome, focusing on learning first order weights first is likely to improve performance and convergence time. Our Empirical Bayes method clamps features in each group together and uses the observed data for the deployed model to empirically compute a hierarchical prior in hindsight. We apply our method to a standard classification setting, as well as a contextual bandit setting in an Amazon production system. Both during simulations and live experiments, our method shows marked improvements, especially in cases of small traffic. Our findings are promising, as optimizing over sparse data is often a challenge. Furthermore, our approach can be applied to any problem instance modeled as a Bayesian framework.

研究の動機と目的

• スパースまたは低流量のデータを扱うモデルの最適化に直面する課題に対処すること。標準的な学習率スケジューリングではその効果が不十分である。
• 特に一次および二次の特徴量に対して学習率を分離することで、収束速度とモデル性能を向上させること。
• 実稼働後のモデル挙動を踏まえて、データ駆動型の階層的事前分布推定手法を構築すること。
• 実世界の生産システムで一般的な小バッチまたは低流量の状況において、効果的な学習を可能にすること。
• グループ化された特徴量を有する任意のベイズモデリングフレームワークに一般化可能なアプローチを構築すること。

提案手法

• 実稼働モデルからの観測データを用いて、階層的事前分布を経験的に計算し、グループごとの学習率の適応を可能にする。
• 各グループ（例：一次対二次）内の特徴量をクランプして、共通の学習率を共有し、グループ間での分離を実現する。
• 実稼働データにおける実際のモデル性能に基づき、後から事前分布を推定する経験的ベイズフレームワークを適用する。
• ベイズフレームワークを用いて、グループ固有の学習率を持つ特徴量重みをモデル化し、最適化の安定性を向上させる。
• 実際の生産環境において、標準的な分類および文脈バンディット設定にこの手法を適用する。
• 観測データを活用して、各特徴量グループごとの最適な学習率スケーリングを推定し、手動チューニングへの依存を低減する。

実験結果

リサーチクエスチョン

• RQ1 一次および二次の特徴量の学習率を分離することで、低流量環境下でのモデル収束が改善されるか？
• RQ2 実稼働モデルのデータから、学習率の適応を支援する階層的事前分布を経験的に推定する方法は何か？
• RQ3 提案手法は、小バッチまたは低流量の生産環境において、測定可能な性能向上をもたらすか？
• RQ4 分類および文脈バンディットといった異なるモデリングフレームワークへも一般化可能か？
• RQ5 収束速度および精度の観点から、標準的な学習率スケジューリングと比較して、本手法はどのように優れているか？

主な発見

• 本手法は、特に低流量または小バッチの状況において、モデルの収束時間と性能を顕著に改善する。
• ライブ稼働環境のデータから得た経験的ベイズ事前分布により、特徴量グループ間での学習率の有効な分離が可能になる。
• アマゾンの生産システム内での分類および文脈バンディットタスクにおいて、顕著な性能向上が得られた。
• データからグループ固有の学習率を学習することで、手動による学習率チューニングへの感受性が低下する。
• データがスパースな状況で最も顕著な向上が確認され、本手法が実世界の低流量応用において価値を持つことが裏付けられた。
• 本フレームワークは、グループ化された特徴量を有する任意のベイズモデルに一般化可能であり、広範な適用性を有する。