[論文レビュー] Measuring and avoiding side effects using relative reachability

Victoria Krakovna, Laurent Orseau+2 more|arXiv (Cornell University)|Jun 4, 2018

Reinforcement Learning in Robotics参考文献 14被引用数 12

ひとこと要約

本論文は、状態の到達可能性をデフォルト状態と比較することで、強化学習エージェントにおける副作用の測定および回避のための新しい手法である相対的到達可能性を提案する。この手法は、不可逆的または動的環境における悪質なインcentiveを回避する。実験的に、グリッドワールド環境において、相対的到達可能性は、全テストシナリオで望ましい行動を生み出すという点で、既存の手法を上回ることを示している。

ABSTRACT

How can we design reinforcement learning agents that avoid causing unnecessary disruptions to their environment? We argue that current approaches to penalizing side effects can introduce bad incentives in tasks that require irreversible actions, and in environments that contain sources of change other than the agent. For example, some approaches give the agent an incentive to prevent any irreversible changes in the environment, including the actions of other agents. We introduce a general definition of side effects, based on relative reachability of states compared to a default state, that avoids these undesirable incentives. Using a set of gridworld experiments illustrating relevant scenarios, we empirically compare relative reachability to penalties based on existing definitions and show that it is the only penalty among those tested that produces the desired behavior in all the scenarios.

研究の動機と目的

• 不可逆的行動や外部要因の変化がある環境において、既存の副作用ペナルティの限界を解決すること。
• 現在の副作用回避手法に内在する悪質なインセンティブ（例えば、必要な不可逆的行動を避けること）を特定および排除すること。
• デフォルト状態からの相対的到達可能性に基づく、一般的かつ強固な副作用の定義を提唱すること。
• 多様なグリッドワールドシナリオにおいて、提案手法を既存のアプローチと比較して実証的に評価すること。
• 相対的到達可能性が、過去の手法が失敗する全テストシナリオで望ましいエージェント行動を生み出すことを示すこと。

提案手法

• 状態の相対的到達可能性を、デフォルト状態との比較によって副作用として定義する。ここで到達可能性は、状態に到達するための最小行動ステップ数を測定する。
• 現在の状態とデフォルト状態の間の到達可能性の差をペナルティとして計算し、デフォルト状態の到達可能性で正規化する。
• 強化学習の訓練中にペナルティを適用し、重要な状態への到達可能性を低下させる行動を抑制する。
• 不可逆的行動や外部的変化を含む多様なシナリオを持つグリッドワールド環境を用いて、手法をテストする。
• 既存の副作用ペナルティ（例：状態カバレッジ、到達可能性に基づくペナルティ）と比較して、エージェント行動およびタスクパフォーマンスの観点から相対的到達可能性を評価する。
• 複数のシナリオにわたる評価を通じて、提案手法のロバストネスと一貫性を評価する。

実験結果

リサーチクエスチョン

• RQ1 不可逆的行動を必要とするタスクにおいて、相対的到達可能性ペナルティは、エージェントが必要な不可逆的行動を避けることを防げるか？
• RQ2 他のエージェントや環境的ダイナミクスといった外部要因による変化がある環境では、相対的到達可能性はどのように動作するか？
• RQ3 既存の副作用ペナルティに見られる悪質なインセンティブ（例：有益な変化を避けること）を相対的到達可能性は回避できるか？
• RQ4 多様なグリッドワールドシナリオにおいて、相対的到達可能性は一貫して望ましい行動を生み出すか？
• RQ5 安全性およびタスクパフォーマンスの観点から、相対的到達可能性は、定量的および定性的に既存の副作用ペナルティとどのように比較できるか？

主な発見

• テストされたペナルティの中で、相対的到達可能性のみが、不可逆的行動や外部環境的変化を伴うすべてのグリッドワールドシナリオで望ましい行動を生み出している。
• 既存の副作用ペナルティは、しばしばエージェントに悪質なインセンティブを与える。例えば、他のエージェントの行動を妨げたり、必要な不可逆的行動を避けるように促す。
• 相対的到達可能性手法は、ある状態への到達可能性を低下させるが、タスク完了に不可欠な行動をペナルティ化しない。
• 外部要因による変化がある状況では、環境の変化がエージェントの制御外であるにもかかわらず、相対的到達可能性は誤ってペナルティを適用しない。
• 本手法は多様な環境において一貫したパフォーマンスを維持しており、環境のダイナミクスに対してロバストであることを示している。
• 実証的結果から、相対的到達可能性で訓練されたエージェントは、タスクパフォーマンスを損なわず、副作用を回避するとともに、予期しない行動的インセンティブを導入しないことが分かった。