[論文レビュー] A Linear Bandit for Seasonal Environments

Giuseppe Di Benedetto, Vito Bellini+1 more|arXiv (Cornell University)|Apr 28, 2020

Advanced Bandit Algorithms Research参考文献 33被引用数 4

ひとこと要約

本稿では、非定常的で季節的特性を持つ環境において、急激な変化を検出し、過去の定常状態の知識を活用することで学習効率を向上させる、コンテキスト付き線形バンディットアルゴリズム All-Season を提案する。複数のベースバンディット学習者を維持し、最近のパフォーマンスに基づいて動的に重みを割り当てる仕組みにより、合成的および実世界の推薦タスクの両方で最先端のアルゴリズムを上回る性能を発揮する。特に繰り返し現れる季節的パターンにおいて顕著な優位性を示す。

ABSTRACT

Contextual bandit algorithms are extremely popular and widely used in recommendation systems to provide online personalised recommendations. A recurrent assumption is the stationarity of the reward function, which is rather unrealistic in most of the real-world applications. In the music recommendation scenario for instance, people's music taste can abruptly change during certain events, such as Halloween or Christmas, and revert to the previous music taste soon after. We would therefore need an algorithm which can promptly react to these changes. Moreover, we would like to leverage already observed rewards collected during different stationary periods which can potentially reoccur, without the need of restarting the learning process from scratch. A growing literature has addressed the problem of reward's non-stationarity, providing algorithms that could quickly adapt to the changing environment. However, up to our knowledge, there is no algorithm which deals with seasonal changes of the reward function. Here we present a contextual bandit algorithm which detects and adapts to abrupt changes of the reward function and leverages previous estimations whenever the environment falls back to a previously observed state. We show that the proposed method can outperform state-of-the-art algorithms for non-stationary environments. We ran our experiment on both synthetic and real datasets.

研究の動機と目的

• 音楽ストリーミングなど実世界の応用において現実的でない、報酬関数が定常的であると仮定する従来のコンテキスト付きバンディットアルゴリズムの限界を克服すること。
• 報酬パターンが時間とともに急激に変化し、繰り返し現れる非定常的で季節的特性を持つ報酬関数に対する挑戦に取り組むこと。
• 再学習を完全に再開するのではなく、以前に学習された定常状態の知識を再利用することで、変化への効率的な適応を可能にすること。
• 変化点を検出し、再発する環境からの履歴データを活用することで、実世界の推薦システムにおける性能を向上させること。
• 大規模で動的な推薦プラットフォームへの産業的導入に適した、堅牢でスケーラブルなアルゴリズムの開発

提案手法

• 報酬関数の各定常状態に対応する、一意なベースバンディット学習者を複数保持する。
• 最近の観測がそのベース学習者の対応する定常状態から生じる確率に基づき、各ベース学習者に動的重みを割り当てる。
• 短記憶バンディットを用いて、以前に観測されていない報酬状態へのシフトを検出し、新しいベース学習者の作成をトリガーする。
• モデルの不適合に対する頑健性を向上させるために、事後予測重みの計算に一般化ベイズ法を採用する。
• 任意のベースアルゴリズム（例：Linear Thompson Sampling）と統合可能であり、モジュラーで拡張性の高い設計を実現する。
• 計算コストを管理するためのプリーニング戦略を適用し、ベイジアンコアセットを用いたさらなる改善が可能である。

実験結果

リサーチクエスチョン

• RQ1 コンテキスト付きバンディットアルゴリズムは、過去に観測された定常状態の知識を再利用しながら、報酬関数の急激な変化を効果的に検出できるか？
• RQ2 季節的パターンを活用するモデルは、実世界および合成環境において、最先端の非定常バンディットアルゴリズムと比較してどの程度優れた性能を示すか？
• RQ3 報酬関数が再発する際、再訓練を完全に再開することなく、レギュレーションと探索コストをどの程度削減できるか？
• RQ4 複雑な実世界設定において、モデルの不適合や変化点検出の誤りに対して、アルゴリズムはどの程度頑健であるか？
• RQ5 短記憶メカニズムの統合により、以前に観測されていなかった新しい報酬状態の検出が可能になるか？

主な発見

• All-Season (Disc) は、MNIST および Fashion-MNIST データセットの全設定において、SW-LinTS や D-LinTS などのすべてのベースラインを上回った。二腕タスクにおける MNIST では、通常設定で平均報酬 0.77 ± 0.01、現実的設定で 0.74 ± 0.02、極端な設定で 0.77 ± 0.01 を達成した。
• 数字認識タスクでは、All-Season (Disc) は通常設定で平均報酬 0.74 ± 0.01 を達成し、SW-LinTS (0.36 ± 0.00) や DenBand (0.33 ± 0.00) を顕著に上回った。
• アイテム認識タスクでは、All-Season (Disc) は通常設定で平均報酬 0.49 ± 0.02 を維持し、SW-LinTS (0.35 ± 0.01) や BoB (0.32 ± 0.00) を上回った。
• All-Season (Disc) は All-Season (SW) よりも一貫して優れた性能を示し、季節的適応において離散的重み付け機構がスライディングウインドウベースの重み付けよりも効果的であることが示された。
• 極端な設定および現実的設定において、All-Season は顕著な性能低下を示さず、優れた頑健性と安定性を示した。
• 急激で繰り返し現れる変化が生じる状況において顕著な性能向上を達成し、祝祭期間中の音楽推薦など実世界の季節的環境において有効であることが実証された。