[論文レビュー] When should agents explore?

Mîruna Pislar, David Szepesvári+3 more|arXiv (Cornell University)|Aug 26, 2021

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本論文は強化学習における探索のタイミングを動的に制御するモードスイッチング探索フレームワークを提案する。このフレームワークは、内因的欲求や固定ステップ数に基づく適応的トリガーを用いて、エピソード内時間スケールで、利用（exploit）と探索（explore）のモードを切り替える。本手法は、モノリシックな探索に比べてより豊かで多様な行動を可能にし、広範なハイパーパrameterチューニングを必要とせずに、Atariゲームで最先端の性能を達成する。

ABSTRACT

Exploration remains a central challenge for reinforcement learning (RL). Virtually all existing methods share the feature of a monolithic behaviour policy that changes only gradually (at best). In contrast, the exploratory behaviours of animals and humans exhibit a rich diversity, namely including forms of switching between modes. This paper presents an initial study of mode-switching, non-monolithic exploration for RL. We investigate different modes to switch between, at what timescales it makes sense to switch, and what signals make for good switching triggers. We also propose practical algorithmic components that make the switching mechanism adaptive and robust, which enables flexibility without an accompanying hyper-parameter-tuning burden. Finally, we report a promising and detailed analysis on Atari, using two-mode exploration and switching at sub-episodic time-scales.

研究の動機と目的

• 報酬関数に依存しない探索のタイミングという未だ十分に検討されていない問題に取り組み、固定の探索レートやモノリシックな方策にとどまらない枠組みを提示すること。
• 特にエピソード内スイッチングを含む時間的粒度の違いが、探索の多様性と学習効率に与える影響を調査すること。
• 手動によるハイパーパrameterチューニングに依存しないが、性能を維持する堅牢な適応的スイッチングメカニズムを設計すること。
• スイッチングのトリガー（例：情報あり vs. 情報なし、ステップベース vs. 確率的）が学習ダイナミクスと最終的パフォーマンスに与える影響を評価すること。

提案手法

• 固定された利用ポリシー（G）と、2つの異なる探索ポリシー（XU：一様ランダム、XI：RNDを用いた内因的欲求）を有する2モードの強化学習フレームワークを導入する。
• エピソード内スイッチングを採用し、探索期間は複数ステップにわたり、エピソード全体よりも短いが、事前に定義された条件によってモード切り替えが発生する。
• 内因的欲求（情報ありトリガー）や固定ステップ間隔（情報なしトリガー）といった信号に基づいて、メタコントローラーがスイッチング行動を動的に調整する。
• 一部の実験では、安定したQ学習更新を保証するためのオフポリシー補正を適用しているが、現在の設定ではそれが必須ではないことが実験結果から示された。
• 探索行動を特徴付ける2つの統計量（全体的な探索割合pX、中央値としての探索期間長さmedX）を用い、分析のための特徴空間を構築する。
• エージェントの不確実性や内因的報酬信号に基づいて、スイッチング確率を調整する確率的スイッチングメカニズムを採用する。

実験結果

リサーチクエスチョン

• RQ1 ステップレベルやエピソードレベルの探索と比較して、エピソード内探索スイッチングはAtariゲームにおける学習効率と最終パフォーマンスの面でどのように異なるか？
• RQ2 情報あり（内因的欲求に基づく）トリガーと情報なし（固定ステップ間隔）トリガーのどちらが、より高い探索の多様性とエージェントパフォーマンスをもたらすか？
• RQ3 エピソードを利用モードで開始するか、探索モードで開始するかが、スイッチングの速度と有効性に与える影響は何か？また、環境によってその影響はどのように変化するか？
• RQ4 適応的でメタコントローラーに基づくスイッチングは、手動によるハイパーパラメータチューニングの必要性を低減しつつ、パフォーマンスを維持または向上させられるか？
• RQ5 異なる探索モード（XU 対 XI）が、さまざまなスイッチング戦略とどのように相互作用し、行動の多様性と報酬最大化に寄与するか？

主な発見

• 固定10ステップの探索期間と、情報なしのステップベーストリガー（XU-intra(10,blind,n*,G)）を用いたエピソード内スイッチングは、テストされた7つのAtariゲームすべてで強く、5つのゲームで平均人間正規化スコアが100％を超えた。
• 情報ありスイッチング戦略（XI-intra(10,informed,p*,G)）は、7つのゲームのうち6つで情報なしの対応戦略を上回り、特にモンテズマのレインジとスターガンナーでは、それぞれ12,500および150,000の報酬を達成した。
• エピソードを利用モードで開始すると、探索モードで開始する場合に比べてスイッチング頻度が低く（中央値としての探索期間が長くなる）、探索の多様性が低くなる傾向が示された。
• メタコントローラーの性能はハイパーパラメータの選択に対して頑健であった。たとえ固定スイッチング間隔（例：100ステップ）を用いても、再チューニングなしでさまざまな環境に一般化できた。
• オフポリシー補正はXIモードの実験では不要であることが判明した。kステップQ学習を補正なしに実行しても、同等またはわずかに優れた性能を示し、内因的報酬信号が学習を安定化させている可能性を示唆した。
• 探索行動の特徴空間（pX 対 medX）の分析から、異なるスイッチング戦略がこの空間の異なる領域をカバーしていることが明らかになった。これは、エピソード内スイッチングが探索行動の細かい制御を可能にしていることを示している。