[論文レビュー] Penalizing side effects using stepwise relative reachability

Victoria Krakovna, Laurent Orseau+3 more|arXiv (Cornell University)|Jun 4, 2018

Reinforcement Learning in Robotics参考文献 34被引用数 23

ひとこと要約

本稿では、段階的インアクションベースラインと相対到達可能性のずれを組み合わせることで強化学習における副作用の罰則を新たに提案する。この手法は干渉やスケールに鈍感なインcentiveを回避する。グリッドワールド実験において、人間の監視やタスク固有の報酬設計に依存せずに、より安全でより頑健なエージェント行動を示す。

ABSTRACT

How can we design safe reinforcement learning agents that avoid unnecessary disruptions to their environment? We show that current approaches to penalizing side effects can introduce bad incentives, e.g. to prevent any irreversible changes in the environment, including the actions of other agents. To isolate the source of such undesirable incentives, we break down side effects penalties into two components: a baseline state and a measure of deviation from this baseline state. We argue that some of these incentives arise from the choice of baseline, and others arise from the choice of deviation measure. We introduce a new variant of the stepwise inaction baseline and a new deviation measure based on relative reachability of states. The combination of these design choices avoids the given undesirable incentives, while simpler baselines and the unreachability measure fail. We demonstrate this empirically by comparing different combinations of baseline and deviation measure choices on a set of gridworld experiments designed to illustrate possible bad incentives.

研究の動機と目的

• 強化学習における不良な副作用罰則が引き起こす安全でないエージェント行動を是正すること。
• 副作用罰則の設計上の欠陥に起因する悪質なインセンティブ（環境変化への干渉、破壊のスケールに鈍感であること）を特定・排除すること。
• これらインセンティブを回避するための新しいベースライン（段階的インアクション）とずれ測定（相対到達可能性）を提案すること。
• 制御されたグリッドワールド環境において、さまざまなベースラインとずれ測定の組み合わせの有効性を評価すること。
• 複雑な環境に一般化可能なスケーラブルで内生的な副作用罰則手法の基盤を築くこと。

提案手法

• 副作用罰則を2つの要素に分解：ベースライン状態と、そのベースラインからのずれ測定。
• 段階的インアクションベースラインを提案。時間tにおけるベースラインは、直前の状態から何も行動を取らないことで到達する状態であり、初期状態ではない。
• 相対到達可能性ずれ測定を導入。これは、現在の状態からすべての状態への到達可能性がベースライン状態と比較して平均的にどれほど低下したかを測定する。
• 到達可能性は関数 R(s′; s) を用いて計算され、状態 s′ から s に到達する確率を測定する。
• 相対到達可能性ずれは、すべての状態 s について max(R(s′; s) − R(s; s), 0) の平均として定義され、エージェントの行動によって生じる到達可能性の損失を捉える。
• 干渉、オフセット、スケールに鈍感なインセンティブをテストするように設計されたグリッドワールド環境で、ベースラインとずれ測定の組み合わせを実験的に評価する。

実験結果

リサーチクエスチョン

• RQ1 固定された初期状態をベースラインとして使用した場合、どのような不適切なインセンティブが副作用罰則から生じるか？
• RQ2 ずれ測定の選択（到達不能性対相対的到達可能性）が、エージェントの環境的混乱のスケールに対する感受性にどのように影響するか？
• RQ3 段階的インアクションベースラインは、自然または他のエージェントによる不可逆的変化を防ごうとするインセンティブ（干渉）を排除できるか？
• RQ4 段階的インアクションベースラインと相対到達可能性ずれ測定の組み合わせは、干渉、オフセット、スケールに鈍感なインセンティブという3つの主要な悪質インセンティブをすべて回避できるか？
• RQ5 到達不能性、到達可能効用、人間の監視といった既存手法と比較して、安全性と頑健性の観点から本手法はどのように差をつけるか？

主な発見

• 段階的インアクションベースラインは、自然または他のエージェントによる不可逆的変化を防ごうとするインセンティブ（干渉）を効果的に排除した。
• 相対到達可能性ずれ測定はスケールに鈍感でないことを確認し、100個のガラスケースを壊すような大きな破壊に対してはより強く罰則を科す。
• 段階的インアクションベースラインと相対到達可能性ずれ測定の組み合わせは、3つの主要な悪質インセンティブを回避する観点で、他のすべての組み合わせを上回った。
• 到達不能性測定は、ベースラインの選択に関わらず一貫してスケールに鈍感であるため、破壊の規模が重要な現実世界の応用には不適切である。
• 提案手法はオフセットインセンティブを回避した。エージェントは、最適または意図された行動ではないにもかかわらず、ベースライン状態を元に戻そうとする行動を取らなかった。
• グリッドワールドでの実験結果から、唯一、提案されたベースラインとずれ測定の組み合わせが、すべての3つの悪質インセンティブを回避しており、安全な強化学習の基盤として不可欠であることが示された。