[論文レビュー] Deep Neural Linear Bandits: Overcoming Catastrophic Forgetting through Likelihood Matching

Tom Zahavy, Shie Mannor|arXiv (Cornell University)|Jan 24, 2019

Advanced Bandit Algorithms Research参考文献 34被引用数 13

ひとこと要約

本論文では、半正定値計画法（SDP）を用いて古い深層ニューラルネットワーク表現と新しい表現の間の尤度を一致させることで、災難的忘却を克服するメモリ効率の良いニューラル線形コンテキストバンドイットアルゴリズムを提案する。この手法は、限られたメモリでも、実世界の回帰、分類、センチメント分析タスクにおいて、線形ベースラインやフルメモリのニューラル線形手法を上回る優れた性能を発揮する。

ABSTRACT

We study the neural-linear bandit model for solving sequential decision-making problems with high dimensional side information. Neural-linear bandits leverage the representation power of deep neural networks and combine it with efficient exploration mechanisms, designed for linear contextual bandits, on top of the last hidden layer. Since the representation is being optimized during learning, information regarding exploration with "old" features is lost. Here, we propose the first limited memory neural-linear bandit that is resilient to this phenomenon, which we term catastrophic forgetting. We evaluate our method on a variety of real-world data sets, including regression, classification, and sentiment analysis, and observe that our algorithm is resilient to catastrophic forgetting and achieves superior performance.

研究の動機と目的

• 表現学習中に限られたメモリを使用する際のニューラル線形バンドイットにおける災難的忘却を解消すること。
• 動的になる深層ニューラルネットワーク特徴量の変化に対しても、正確な不確実性推定と探索効率を維持する手法の開発。
• メモリ制約下で、深層表現学習と線形バンドイット手法を組み合わせることで、強化学習における効果的な探索を可能にすること。
• 変化する表現を持つオンライン学習において、事前分布の適応に尤度一致が有効であることを実証すること。

提案手法

• コンテキストバンドイットにおける効率的な探索のため、深層ニューラルネットワークの最終隠れ層にThompson Sampling（TS）を適用する。
• 新しい特徴量における報酬推定の尤度を、古い特徴量における尤度に一致させるために、半正定値計画法（SDP）を適用し、不確実性推定を保持する。
• SDP近似を用いて、最終層の重みと事前分散を用いて、事前分布の平均を調整し、表現変更に伴う一貫性を維持する。
• 完全なリプレイバッファを避けるために、最近の経験のみを格納する限られたメモリバッファを実装する。
• DNN特徴量が更新される度に、尤度一致を用いて事前分布を再計算することで、忘却に対する耐性を確保する。
• 特徴抽出にはニューラルネットワーク（MLPまたはCNN）を用い、バンドイット意思決定のための線形層を上に設ける。

実験結果

リサーチクエスチョン

• RQ1 表現ネットワークが継続的に更新される状況下で、限られたメモリでもニューラル線形バンドイットが性能を維持できるか？
• RQ2 深層ニューラルネットワーク特徴量が時間とともに変化する場合、事前分布を効果的に適応させる方法は何か？
• RQ3 古いと新しい特徴表現の間で尤度一致を適用することで、ニューラル線形バンドイットにおける災難的忘却が軽減されるか？
• RQ4 非線形かつ高次元な設定において、この手法はフルメモリベースラインや線形バンドイットを上回ることができるか？

主な発見

• 10個のデータセットのうち8つで、事前分布計算付きの限られたメモリのニューラル線形バンドイット（アルゴリズム3）が、フルメモリベースライン（アルゴリズム2）と同等またはそれを上回る性能を発揮した。
• マッシュルーム、ファイナンシャル、Statlog、てんかんの4つのデータセットでは、アルゴリズム3が無制限メモリベースラインを上回り、忘却に対する耐性が確認された。
• 入力サイズ約8,000のアマゾンレビューにおけるセンチメント分析でCNNを用いた場合、限られたメモリ手法は累積報酬3143.9（±33.5）を達成し、フルメモリバージョンとほぼ同等の性能を示し、ε-greedy（2963.9 ±68.5）を著しく上回った。
• 非線形データセットでは、限られたメモリのニューラル線形バンドイットが5つのうち4つのケースで線形Thompson Samplingを上回り、メモリ制約下でも表現学習の利点が示された。
• 計算量とメモリ使用量をO(T)に削減しながら、従来のフルメモリ手法と同等またはより優れた性能を達成した。