[論文レビュー] A Neural Networks Committee for the Contextual Bandit Problem

Robin Allesiardo, Raphaël Féraud+1 more|arXiv (Cornell University)|Sep 29, 2014

Advanced Bandit Algorithms Research参考文献 22被引用数 10

ひとこと要約

本稿では、線形関係や定常データを仮定せずに報酬確率をモデル化する複数のニューラルネットワークを用いたコンテキストバンディットアルゴリズム、NeuralBandit1を提案する。NeuralBandit2およびNeuralBandit3を導入し、敵対的バンディット手法（EXP3）を用いてオンラインで最良の性能を示すニューラルネットワークモデルを動的に選択する。LinUCB、CTS、Banditronと比較して、特に非定常データ条件下で低い累積リグレットを達成する。

ABSTRACT

This paper presents a new contextual bandit algorithm, NeuralBandit, which does not need hypothesis on stationarity of contexts and rewards. Several neural networks are trained to modelize the value of rewards knowing the context. Two variants, based on multi-experts approach, are proposed to choose online the parameters of multi-layer perceptrons. The proposed algorithms are successfully tested on a large dataset with and without stationarity of rewards.

研究の動機と目的

• 既存のコンテキストバンディットアルゴリズムにおける線形および定常仮定の制限を克服すること。
• オンライン広告などの実世界の応用で一般的な非定常なデータ分布に適応できる頑健なコンテキストバンディット手法を開発すること。
• ニューラルネットワークの普遍近似能力を活用して、複雑な非線形な報酬-コンテキスト関係をモデル化すること。
• 敵対的バンディット（EXP3）を用いたモデル選択メカニズムを導入し、オンラインで最良の性能を示すニューラルネットワーク構成を動的に選択すること。
• 提案手法を定常および非定常なデータストリーム上で評価し、頑健性と適応性を示すこと。

提案手法

• 各行動ごとに1つのニューラルネットワークを訓練し、1層の隠れ層を備えたモデルを用いて、与えられたコンテキストのもとでの報酬確率を推定する。
• 変動する報酬分布への適応を可能にするために、オンライン学習のための確率的勾配降下法を用いる。
• 異なる隠れ層サイズおよび正則化パラメータを有する事前に設定された複数のニューラルネットワークモデルの間で、探索と活用のバランスを取るためにEXP3アルゴリズムを適用する。
• NeuralBandit2では、各行動に対して1つのEXP3インスタンスを維持し、その行動に最適なモデルを選択する。
• NeuralBandit3では、各行動が個別のEXP3インスタンスを持つようにし、モデルの多様性と頑健性を向上させる。
• 観測された報酬に基づいてネットワーク重みを確率的勾配降下法で更新するとともに、モデル選択の重みはEXP3の損失に基づくフィードバックを用いて更新する。

実験結果

リサーチクエスチョン

• RQ1 動的モデル選択を伴うニューラルネットワークの委員会は、非定常環境下で線形的・定常的仮定に基づくコンテキストバンディットアルゴリズムを上回ることができるか？
• RQ2 共有（NeuralBandit2）と各行動ごとの（NeuralBandit3）モデル選択の選択が、性能およびコンセプトドリフトに対する頑健性に与える影響は何か？
• RQ3 非凸の損失関数を持つニューラルネットワークは、複雑な現実世界のデータストリームにおいて、凸モデル（LinUCB や CTS）と比較して、より優れたリグレット性能を達成できるか？
• RQ4 モデル選択に敵対的バンディット手法（EXP3）を用いることで、変化するデータ分布への効果的なオンライン適応が可能になるか？
• RQ5 提案手法は、Forest Cover Typeデータセットの定常および非定常バージョンにおいて、収束速度および累積リグレットの観点で、どのようにLinUCB、CTS、Banditronと比較されるか？

主な発見

• NeuralBandit2は、定常データにおいて最も速い収束と最小の累積リグレット（76%の分類精度）を達成し、LinUCB（72%）、CTS（73%）、Banditron（57%）を上回った。
• 500,000イタレーションごとにコンセプトドリフトが発生する非定常データでは、NeuralBandit2およびNeuralBandit3がLinUCBおよびCTSよりも低いリグレットを維持したが、後者は最初のドリフト後に適応できなかった。
• NeuralBandit3は、各行動に対して複数の独立したモデルを活用できるため、NeuralBandit2よりもコンセプトドリフトに対してより頑健であった。これは、悪い局所最適値に陥るリスクを低減できたためである。
• Banditronは、定常および非定常データの両方において劣悪な性能を示し、最後の100,000予測で57%の分類率を示した。これは、複雑な状況下での線形モデルの限界を示している。
• 提案されたモデル選択メカニズム（EXP3を用いる）により、効果的なオンライン適応が可能となり、NeuralBandit2およびNeuralBandit3は、各コンセプトドリフト後75,000～350,000ステップの間に安定化した。
• 非凸損失関数を持つニューラルネットワークモデルの使用により、複雑で非線形な報酬-コンテキスト関係のより良い表現が可能になったが、理論的リグレットバウンドを失う代償を伴った。