[論文レビュー] Active Reinforcement Learning: Observing Rewards at a Cost

David Krueger, Jan Leike+2 more|arXiv (Cornell University)|Nov 13, 2020

Advanced Bandit Algorithms Research参考文献 17被引用数 12

ひとこと要約

本稿では、報酬を観測するためにコストを支払うことで報酬を得るエージェントを扱うアクティブ強化学習（ARL）を提案する。報酬観測コストと長期的報酬獲得のバランスを取るためにヒューリスティックなアルゴリズムを提案している。価値の情報（VOI）とクエリの後悔を伴う適応的サンプリング（ASQR）の手法が、報酬の観測が高コストとなる複雑な環境において、ベースラインを上回ることを示しており、特に情報が得にくい状態行動ペairに対して知的な選択を行うことで、報酬観測のコストを効果的に管理している。

ABSTRACT

Active reinforcement learning (ARL) is a variant on reinforcement learning where the agent does not observe the reward unless it chooses to pay a query cost c > 0. The central question of ARL is how to quantify the long-term value of reward information. Even in multi-armed bandits, computing the value of this information is intractable and we have to rely on heuristics. We propose and evaluate several heuristic approaches for ARL in multi-armed bandits and (tabular) Markov decision processes, and discuss and illustrate some challenging aspects of the ARL problem.

研究の動機と目的

• 人間が提供する報酬が高価または時間がかかる複雑なタスクにおいて報酬関数を設計する課題に対処すること。
• 報酬を観測する際に固定コストが発生する強化学習のモデルを構築し、エージェントがいつクエリを行うかを戦略的に決定できるようにすること。
• 多腕バンディットおよびテーブル型MDPにおいて、即時のクエリコストと長期的価値の情報のバランスを取るためのヒューリスティック戦略を調査すること。
• さまざまなクエリコストの下で、異なるクエリ戦略が学習効率および累積リターンに与える影響を評価すること。
• 避けられないか、情報が得にくい状態が存在する環境において、クエリ頻度、タイミング、ポリシー性能のトレードオフを調査すること。

提案手法

• エージェントは行動を選択し、次のタイムステップで報酬を観測するために固定コスト c > 0 を支払うかどうかを決定する。
• 状態行動ペアのクエリによる長期的利得を推定するためのヒューリスティックアルゴリズムとして、価値の情報（VOI）およびクエリの後悔を伴う適応的サンプリング（ASQR）を提案する。
• 報酬に正規事前分布を仮定し、各クエリ後に事後平均を更新することで、将来の期待価値を推定するベイズ推論を用いる。
• モデルベースARLにおいて、モンテカルロ・ロールアウトを用いてサンプルされた環境の上での期待リターンを推定し、クエリ意思決定を支援する。
• VOIアルゴリズムでは k=1 を用いて、状態行動ペアのクエリによる期待される情報量の増加を近似する。
• 将来的な軌道をシミュレートするために、既知の環境ダイナミクスモデルを用い、クエリの影響がポリシー向上に与える影響を推定する。

実験結果

リサーチクエスチョン

• RQ1 報酬を観測する際にコストが発生する状況において、エージェントはどのように長期的価値の情報（報酬情報）を定量化できるか？
• RQ2 特に避けられないか、情報が得にくい状態が存在する環境において、効率的な探索とクエリを実現するためのヒューリスティック戦略は何か？
• RQ3 クエリコストの水準（低コスト対高コスト）が、ARLエージェントの性能およびクエリ行動に与える影響は何か？
• RQ4 VOIに基づく戦略は、『ロング・ワイ』MDPのような複雑な環境において、均一または固定クエリポリシーを上回る性能を示せるか？
• RQ5 エージェントが報酬について持つ事前信念が、クエリ戦略および全体的な学習パフォーマンスに与える影響は何か？

主な発見

• 『ロング・ワイ』環境では、VOIベースのアルゴリズムが、避けられない低情報状態でのクエリを回避することで、他の手法を上回った。
• チェーン環境では、ASQRベースのアルゴリズムがVOIを上回るリターンを達成しており、順序的かつ高不確実性なタスクに適応できていることが示された。
• すべての状態行動ペアを最大25回までクエリするというベースライン戦略は、全体的に性能が低く、特にクエリコストが高い場合に過剰なクエリが原因で悪化した。
• クエリを一切行わない戦略は、クエリコスト c=10 の高い状況下でもチェーン環境で驚くほど良好な性能を示した。これはエージェントの楽観的な事前信念とタスクの難易度によるものである。
• VOIアルゴリズムは初期エピソードでクエリ頻度が低く、これは非効率であった。これは、信頼区間やより多くの環境サンプリングを用いた早期クエリインcentiveの導入が求められることを示唆している。
• 実験的結果から、オンラインで適応的なクエリ戦略は、固定または均一なクエリ戦略に比べて、限られた実験でも顕著にパフォーマンスを向上させることを示している。