[論文レビュー] Dynamic Safe Interruptibility for Decentralized Multi-Agent Reinforcement Learning

El Mahdi El Mhamdi, Rachid Guerraoui+2 more|arXiv (Cornell University)|Apr 10, 2017

Data Stream Mining Techniques被引用数 18

ひとこと要約

本論文は、分散型マルチエージェント強化学習（MARL）システムが人間の中断を学習によって避けることを防ぐための新しいフレームワークである動的安全中止性を導入する。処理関数 $P_{INT}$ を用いた中止に気づいた観測のプルーニングにより、エージェントが断続的に中止されても学習ダイナミクスや無限の探索が維持され、エージェント間の通信や調整を必要とせずに安全な行動が保証される。

ABSTRACT

In reinforcement learning, agents learn by performing actions and observing their outcomes. Sometimes, it is desirable for a human operator to extit{interrupt} an agent in order to prevent dangerous situations from happening. Yet, as part of their learning process, agents may link these interruptions, that impact their reward, to specific states and deliberately avoid them. The situation is particularly challenging in a multi-agent context because agents might not only learn from their own past interruptions, but also from those of other agents. Orseau and Armstrong defined \emph{safe interruptibility} for one learner, but their work does not naturally extend to multi-agent systems. This paper introduces extit{dynamic safe interruptibility}, an alternative definition more suited to decentralized learning problems, and studies this notion in two learning frameworks: extit{joint action learners} and extit{independent learners}. We give realistic sufficient conditions on the learning algorithm to enable dynamic safe interruptibility in the case of joint action learners, yet show that these conditions are not sufficient for independent learners. We show however that if agents can detect interruptions, it is possible to prune the observations to ensure dynamic safe interruptibility even for independent learners.

研究の動機と目的

• 通信のない分散型マルチエージェント強化学習（MARL）において、エージェントが他のエージェントの様子を観測することで中止を学習的に避ける問題に対処する。
• 単一エージェントの安全中止性定義では、共適応や他のエージェントからの間接的学習の影響によりマルチエージェント環境では失敗するという限界を克服する。
• 中止があっても学習の安定性と最適方策への収束を保証する新しい定義、すなわち動的安全中止性を提案する。
• 共同行動学習者における動的安全中止性の十分条件を確立し、中止に気づいた処理を用いた独立学習者においてその実現可能性を示す。
• 中止信号を用いて有害な学習データをプルーニングし、独立学習者における安全な学習ダイナミクスを回復させることを示す。

提案手法

• 動的安全中止性を、中止が行われた場合に学習される期待方策が、中止が一切ない場合の最適方策と一致することを保証する性質として定義する。
• 中止信号 $\Theta_t$ を基に、少なくとも1つのエージェントが中止されたステップからの観測を削除する処理関数 $P_{INT}$ を導入する。
• 中立的更新ルールを用い、探索確率の系列 $\epsilon$ が中止と整合的であることを保証する。
• 補題1を用いて、中止履歴に依存せず、状態と行動の条件付き遷移確率がプルーニング後の系列でも保持されることを証明する。
• エージェントが各ステップで中止信号を受信すると仮定することで、このフレームワークを独立学習者に適用し、中止済みと通常の遷移を区別できるようにする。
• 定理4を証明：$P_{INT}$ と整合的 $\epsilon$ 系列を備えた独立学習者により、動的安全中止性が達成される。

実験結果

リサーチクエスチョン

• RQ1 通信のない分散型マルチエージェント強化学習システムにおいて、安全中止性を意味的に拡張できるか？
• RQ2 標準的な安全中止性定義が、特にエージェントが共適応したり、互いの中断を観測したりするマルチエージェント環境でなぜ失敗するのか？
• RQ3 情報共有を行わない独立学習者において、どのような条件下で動的安全中止性を達成できるか？
• RQ4 中止信号をどのように活用することで、エージェントが中止を意図的に利用したり避けるように学習するのを防げるか？
• RQ5 中止が生じるMARL環境において、無限の探索と1ステップ学習ダイナミクスを保持することは可能か？

主な発見

• 動的安全中止性は、他のエージェントの中断を学習する可能性がある分散型マルチエージェントシステムへの安全中止性のより現実的で必須な拡張である。
• 共同行動学習者では、中止があっても最適方策の学習が保証される十分条件が存在する。
• 独立学習者では、他のエージェントの中断パターンが間接的に影響を与えるため、標準的な安全中止性は不十分である。
• 中止信号が利用可能な場合、$P_{INT}$ を用いた中止観測のプルーニングにより、独立学習者における動的安全中止性が回復される。
• 補題1は、プルーニング後も条件付き遷移確率が変化しないことを証明し、中止履歴による学習ダイナミクスのバイアスが生じないことを保証する。
• 定理4は、$P_{INT}$、中立的更新ルール、および整合的 $\epsilon$ 系列を備えた独立学習者により、動的安全中止性が達成されることを確立する。