[論文レビュー] Convergence Guarantees for Deep Epsilon Greedy Policy Learning

Michael Rawson, Radu Bălan|arXiv (Cornell University)|Dec 2, 2021

Advanced Bandit Algorithms Research被引用数 6

ひとこと要約

本論文は、深層ニューラルネットワークを用いた非線形関数近似による文脈バンディットにおけるDeep Epsilon Greedy方策学習の理論的収束保証を提供する。探索率 $ackslash epsilon_t = 1/t^{1/3}$ の下で、期待リグレットがほとんど確実に0に収束することを証明し、MNISTに基づく非線形強化学習タスクを用いてこれを実証的に検証した。より深いネットワークは収束するが、単純なモデルは収束しないことを示した。

ABSTRACT

Policy learning is a quickly growing area. As robotics and computers control day-to-day life, their error rate needs to be minimized and controlled. There are many policy learning methods and bandit methods with provable error rates that accompany them. We show an error or regret bound and convergence of the Deep Epsilon Greedy method which chooses actions with a neural network's prediction. We also show that Epsilon Greedy method regret upper bound is minimized with cubic root exploration. In experiments with the real-world dataset MNIST, we construct a nonlinear reinforcement learning problem. We witness how with either high or low noise, some methods do and some do not converge which agrees with our proof of convergence.

研究の動機と目的

• 深層ニューラルネットワークを用いた非線形関数近似の下で、Deep Epsilon Greedy方策学習の理論的収束保証を確立すること。
• ニューラルネットワーク近似誤差が存在する状況において、リグレットを最小化する最適な探索スケジュール $\epsilon_t$ を特定すること。
• MNISTデータセットに基づく非線形文脈バンディット設定を用いて、理論的発見を実証的に検証すること。
• モデル容量（例：ニューラルネットワークの深さ）が収束に与える影響を示し、浅いネットワークが適切な探索を行っても収束しないことの証明。

提案手法

• 時間依存の探索率 $\epsilon_t = 1/t^p$ を用いたDeep Epsilon Greedyを採用し、収束を最適化するための $p$ を最適化する。
• 各行動 $j$ に対して独立なニューラルネットワーク $\Phi_j$ を使用し、履歴の状態-行動-報酬タプルを用いて期待報酬を予測する。
• 入力と出力が有界であると仮定し、Gy€rfiら（2002）のニューラルネットワーク一般化バウンドを用いて近似誤差を制御する。
• 濃度不等式と $K$ 個の行動における和集合補題を用いて、高確率でのリグレットバウンドを導出する。
• 漸近的リグレットレートを最小化するため、修正された探索率 $\epsilon_t = 1/t^{1/3}$ を導入する。
• 各行動固有のネットワークを、ミニバッチSGD（16エポック、初期学習率 $10^{-3}$）を用いて、20ステップごとに更新する訓練手順を採用する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワーク関数近似を用いたDeep Epsilon Greedyにおいて、リグレットバウンドを最小化する最適な探索率 $\epsilon_t$ は何か？
• RQ2 非線形文脈バンディット設定において、Deep Epsilon Greedy法はどのような条件下で最適方策に収束するか？
• RQ3 ニューラルネットワークの容量（例：深さ）は、実際の収束とリグレットにどのように影響を与えるか？
• RQ4 MNISTベースのバンディットタスクのような非線形問題では、線形モデル（LinUCB や線形回帰）がなぜ失敗するのか？
• RQ5 理論的リグレットバウンドは、現実のノイズあり非線形環境における実験的パフォーマンスと一致するか？

主な発見

• 最適な探索率 $\epsilon_t = 1/t^{1/3}$ が漸近的リグレットバウンドを最小化し、収束レート $t^{-1/3}$ を達成する。
• $\epsilon_t = 1/t$ の場合、リグレットバウンドは $t^{-1} + \sqrt{\frac{\ln \ln t}{\ln t}}$ の割合で減少するが、これは $p=1/3$ 時の $t^{-1/3}$ レートより遅い。
• 3層の畳み込み層を備えたDeep Epsilon Greedy法は、低ノイズおよび高ノイズのMNIST実験の両方で最適方策に収束し、正規化報酬が最適に近い値に達した。
• 単一の全結合層からなるシンプルなDeep Epsilon Greedy法は、同じ探索スケジュールを使用しても、モデル容量が不十分なため収束に失敗した。
• 線形モデル（LinUCB、線形回帰）および一様ランダム方策は、非線形MNISTタスクで著しく低いパフォーマンスを示し、線形関数近似が非線形報酬構造には不適切であることを確認した。
• 深層ネットワーク版の実験的リグレット収束は理論的予測と一致し、正規化リグレットの減少レートが約 $t^{-1/2}$ であった。これは理論的 $t^{-1/3}$ バウンドと整合的であった。