[論文レビュー] Interpretable Multi-Objective Reinforcement Learning through Policy Orchestration

Ritesh Noothigattu, Djallel Bouneffouf+7 more|arXiv (Cornell University)|Sep 21, 2018

Reinforcement Learning in Robotics参考文献 25被引用数 22

ひとこと要約

本稿では、行動デモから暗黙の社会的制約を逆強化学習（IRL）で推定し、環境報酬を最大化するためのディープ強化学習（RL）と組み合わせることで、解釈可能で多目的な強化学習のフレームワークを提案する。文脈的バンディットオーケストレーターが報酬最大化ポリシーと制約満たしポリシーの間を動的に選択し、パフォーマンスと適合性の最適なトレードオフを実現する透明で適応的なポリシー融合を可能にする。Pac-Manのシナリオでは、臨界なλ閾値で明確な行動スイッチングパターンが観察された。

ABSTRACT

Autonomous cyber-physical agents and systems play an increasingly large role in our lives. To ensure that agents behave in ways aligned with the values of the societies in which they operate, we must develop techniques that allow these agents to not only maximize their reward in an environment, but also to learn and follow the implicit constraints of society. These constraints and norms can come from any number of sources including regulations, business process guidelines, laws, ethical principles, social norms, and moral values. We detail a novel approach that uses inverse reinforcement learning to learn a set of unspecified constraints from demonstrations of the task, and reinforcement learning to learn to maximize the environment rewards. More precisely, we assume that an agent can observe traces of behavior of members of the society but has no access to the explicit set of constraints that give rise to the observed behavior. Inverse reinforcement learning is used to learn such constraints, that are then combined with a possibly orthogonal value function through the use of a contextual bandit-based orchestrator that picks a contextually-appropriate choice between the two policies (constraint-based and environment reward-based) when taking actions. The contextual bandit orchestrator allows the agent to mix policies in novel ways, taking the best actions from either a reward maximizing or constrained policy. In addition, the orchestrator is transparent on which policy is being employed at each time step. We test our algorithms using a Pac-Man domain and show that the agent is able to learn to act optimally, act within the demonstrated constraints, and mix these two functions in complex ways.

研究の動機と目的

• 自律エージェントが報酬最大化と暗黙の社会的規範・制約への準拠の両立を可能にする強化学習フレームワークの開発。
• 明示的なルール定義がなく、複雑で未規定の行動規範を教える課題への対処。
• 各意思決定ステップでアクティブなポリシーが透明になるように、解釈可能性を確保すること。
• 文脈的バンディットを通じて最適なポリシー融合を学習することで、デモを超えた一般化を可能にすること。
• ハイブリッドポリシー選択が、報酬と制約準拠性の両面で単独のポリシー使用を上回ることの実証。

提案手法

• エージェントは環境との相互作用を通じてディープ強化学習により報酬最大化ポリシーπRを学習する。
• エージェントは、規範準拠行動のエキスパートデモから逆強化学習（IRL）を用いて制約満たしポリシーπCを学習する。
• 文脈的バンディットオーケストレーターは、現在の状態と関連環境特徴を符号化する文脈ベクトルΥ(s_t)に基づき、各時刻でπRとπCの間を選択する。
• バンディットは文脈的トムソンサンプリング（CTS）アルゴリズムを用い、報酬と制約の両目的における探索と活用のバランスを取る。トレードオフパラメータλが報酬と制約の目的の重みを制御する。
• オーケストレーターは、環境報酬と制約満たしの凸結合を最大化するように訓練され、ポリシー選択の結果として観察された報酬に基づいて報酬を形状化する。
• システムは各意思決定ステップでどのポリシー（πRまたはπC）が選択されたかをログ記録することで、リアルタイムでの解釈可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 明示的なルールがなく、行動デモのみが利用可能な状況で、エージェントが報酬最大化と制約準拠の両立を学習できるか。
• RQ2 報酬最大化ポリシーと制約満たしポリシーの間を動的に選択する透明で解釈可能なメカニズムをどのように設計できるか。
• RQ3 環境の文脈に基づいてポリシー間を切り替えるように学習するオーケストレーターが、どのような行動パターンを示すか。
• RQ4 オーケストレーターが、報酬と制約準拠性の両面で個々のポリシーを上回る優れたポリシー組み合わせを発見できるか。
• RQ5 報酬と制約のトレードオフパラメータλに、高リスク行動を避けるような行動の質的転換を引き起こす臨界閾値が存在するか。

主な発見

• λ ≈ 0.215–0.22の付近で、エージェントはゴーストを多く食べる（制約違反）行動からほとんど避ける行動に急激に切り替わる。これは制約感受性のターニングポイントを示している。
• λ > 0.22の場合は、エージェントがゴーストをほとんど完全に避けるよう学習し、推定された制約への強い準拠を示している。
• 中程度のλ値（例：λ = 0.4）では、オーケストレーターが非常に直感的なスイッチング戦略を学習する：ゴーストが怯えている状態ではπRを使用し、怯えている間はπCに切り替えることで、脆弱状態でのリスクを最小化する。
• ポリシー切り替え行動は文脈に適応しており、解釈可能であり、エージェントが各時刻でどのポリシーがアクティブかを明確に示している。
• このフレームワークにより、エージェントはリアルタイムの文脈に基づき、両方のポリシーの強みを動的に組み合わせることで、単独のπRまたはπCの使用を上回る性能を達成できる。
• 結果として、オーケストレーターが人間のリスク認識意思決定に類似した、複雑で非自明な融合戦略を学習できることを示している。