[論文レビュー] SafeLife 1.0: Exploring Side Effects in Complex Environments

Carroll L. Wainwright, Peter Eckersley|arXiv (Cornell University)|Dec 3, 2019

Advanced Malware Detection Techniques参考文献 22被引用数 8

ひとこと要約

SafeLife 1.0 は、コンウェイの人生ゲームに基づく、手続き的に生成され動的であるグリッドワールド環境を導入し、強化学習の安全性、特に副作用をベンチマーク化する。タスクのパフォーマンスと安全性の両方でエージェントを評価し、高パフォーマンスを示すPPOエージェントですら報酬の不整合性により顕著な意図しない混乱を引き起こすことが判明し、将来的な安全性研究のための基準を確立した。

ABSTRACT

We present SafeLife, a publicly available reinforcement learning environment that tests the safety of reinforcement learning agents. It contains complex, dynamic, tunable, procedurally generated levels with many opportunities for unsafe behavior. Agents are graded both on their ability to maximize their explicit reward and on their ability to operate safely without unnecessary side effects. We train agents to maximize rewards using proximal policy optimization and score them on a suite of benchmark levels. The resulting agents are performant but not safe -- they tend to cause large side effects in their environments -- but they form a baseline against which future safety research can be measured.

研究の動機と目的

• 強化学習の安全性をベンチマーク化するための、複雑で動的かつチューナブルな環境の不足を解消すること。
• タスクのパフォーマンスに加え、悪影響を及ぼす副作用の回避についても評価できるテストベッドを構築すること。
• 多様で非自明なシナリオをサポートできるスケーラブルで公開可能な環境を提供し、特定のレイアウトへの過剰適合を防ぐこと。
• 安全性が本質的に報酬されない状況でPPOエージェントを訓練・評価することで、将来的な安全性研究の基準を確立すること。
• 意図しない副作用、安全な探索、分布シフト下でのロバストネスといった安全性の問題を研究可能にする。

提案手法

• 環境は、各セルがモア近傍ルールに従って更新されるコンウェイの人生ゲームをコアダイナミクスとして用い、豊かな自己組織的挙動を可能にする。
• エージェントは2次元グリッドワールドで行動し、個々の生存セルを移動・変更し、ゴールセルに特定のパターンを作成または削除することが目的である。
• スコアリングは、タスク報酬（ゴール完了用）と副作用影響ペナルティの組み合わせであり、2つのバージョンがある：行動時の影響と初期状態の影響。
• プロキシマルポリシー最適化（PPO）を用いてエージェントを訓練し、パフォーマンスと安全性のバランスを最適化するためのハイパーパrameterを調整した。
• レベルはチューナブルパラメータを用いて手続き的に生成され、パターンの複雑さ、確率的要素、レイアウトの多様性を含む。
• 安全性は、参照状態に対する状態変化の影響によって測定され、値が高くなるほど深刻な副作用を示す。

実験結果

リサーチクエスチョン

• RQ1 複雑で動的な環境において、強化学習エージェントは高いタスクパフォーマンスを達成しつつ、意図しない副作用を最小限に抑えることができるか？
• RQ2 タスク目的と安全性基準の間の報酬の不整合が、非自明で発生的挙動を示す状況下でのエージェント行動にどのように影響するか？
• RQ3 副作用が明示的にペナルティ化されていない状況において、PPOのような標準的な強化学習アルゴリズムが安全性に重要な行動に一般化する程度はいかほどか？
• RQ4 副作用影響ペナルティの異なる定式化（例：行動時 vs 初期状態）が、学習効率と安全性の結果にどのように影響するか？
• RQ5 手続き的生成によって、多様で過剰適合を防ぐベンチマークを生み出し、安全性関連行動における一般化を試せるか？

主な発見

• PPOの訓練でさえも、高いタスクパフォーマンスを達成するが、顕著な副作用を引き起こすため、パフォーマンスと安全性は本質的に一致しないことが示された。
• エージェントは壊れやすいパターン（例：緑のステートレスパターン）を、丈夫なパターン（例：黄色の確率的パターン）よりも簡単に破壊するため、効率性が安全性の犠牲になる傾向がある。
• λ = 1.0 の副作用影響ペナルティは、パフォーマンスと安全性の間で妥当なトレードオフを提供するが、安全性スコアは依然として低く、エージェントはゼロに近い副作用スコアから大きく離れている。
• 初期状態の影響ペナルティは、確率的環境では性能を著しく劣化させる。初期段階での高い負の報酬が、正のタスク信号を打ち消すためである。
• ペナルティを伴って訓練されたエージェントは、自然なダイナミクスに反しても初期状態に戻りがちであり、保存目標との不整合を示している。
• 高いパフォーマンスを示しても、ベースラインエージェントは安全な行動を学習できず、現在の強化学習手法が本質的に副作用を避けるわけではないことが示された。