[論文レビュー] A Low-Cost Ethics Shaping Approach for Designing Reinforcement Learning Agents

Yueh-Hua Wu, Shou-De Lin|arXiv (Cornell University)|Dec 12, 2017

Ethics and Social Impacts of AI被引用数 6

ひとこと要約

この論文では、目的固有の高品質な倫理的アノテーションを必要とせず、一般の人間行動データを報酬設計を用いて訓練プロセスに統合することで、倫理的行動を促進する低コストな強化学習フレームワーク「エシックスシェーピング」を提案する。多様な人間行動から導かれる確率的方策を活用することで、RLエージェントはタスクの目的を達成しつつ、倫理的に不適切な行動を最小限に抑えることができ、制約下でも人間方策を上回る倫理的意思決定を達成する。

ABSTRACT

This paper proposes a low-cost, easily realizable strategy to equip a reinforcement learning (RL) agent the capability of behaving ethically. Our model allows the designers of RL agents to solely focus on the task to achieve, without having to worry about the implementation of multiple trivial ethical patterns to follow. Based on the assumption that the majority of human behavior, regardless which goals they are achieving, is ethical, our design integrates human policy with the RL policy to achieve the target objective with less chance of violating the ethical code that human beings normally obey.

研究の動機と目的

• 複雑な倫理的ルールを手動で指定することなく、強化学習エージェントに倫理的行動を統合する課題に対処すること。
• 多数の微細な倫理的パターンを報酬関数に組み込む必要をなくし、RLデザイナーの負担を軽減すること。
• ほとんどの人間行動が倫理的に適切であると仮定して、アクセス可能な目的非特化型人間データからエージェントが倫理的行動を学習できること。
• 正確な倫理的報酬設計を必要とせず、多様な倫理的状況に一般化可能なスケーラブルで低コストな手法を開発すること。
• エージェントの主な目的と一致しない一般の人間行動データのみを用いても、倫理的行動を効果的に設計できることを示すこと。

提案手法

• エージェントの特定の目的を標的としない、多様で目的非特化の活動（例：歩行、ジョギング、さまよい歩き）から一般の人間行動データを収集する。
• 収集した人間行動データから確率的方策を学習し、一般的な倫理的行動の分布を表現する。
• 人間方策を報酬設計を用いて強化学習の訓練プロセスに統合：エージェントの行動が人間方策の行動と一致する場合に追加報酬を付与する。
• 元のタスク報酬とエシックスシェーピング報酬の組み合わせ報酬関数を用いてRLエージェントを訓練し、タスクパフォーマンスと倫理的適合性のバランスを取る。
• コアRLアルゴリズムを変更せずに、さまざまな環境（例：ミルクをつかむ、回避を伴うドライブ、救助を伴うドライブ）にフレームワークを適用する。
• 報酬関数のみに依存することで、標準的なRLフレームワークと互換性を持たせ、広範な適用可能性を確保する。

実験結果

リサーチクエスチョン

• RQ1 エージェントの特定の目的を標的としない一般の人間行動データを用いて、RLエージェントの倫理的行動を設計できるか？
• RQ2 集約された人間方策に基づく報酬設計機構は、不確実性下での倫理的意思決定において人間方策を上回ることができるか？
• RQ3 エシックスシェーピングは、主なタスクのパフォーマンスを維持しながら、倫理的に不適切な行動を顕著に減少させることができるか？
• RQ4 明示的な倫理的報酬設計を必要とせず、多様な倫理的状況（例：救助、害の回避）に一般化できるか？
• RQ5 すべての可能な倫理的ルールを列挙するか、高品質な目的特化型人間デモンストレーションに依存せずに、RLエージェントで倫理的行動を達成するのは可能か？

主な発見

• エシックスシェーピングにより、人間データがエージェントの主な目的と一致しない場合でさえ、高いタスクパフォーマンスを達成しながら、倫理的に不適切な行動を顕著に削減できる。
• ドライブと救助のシナリオでは、エシックスシェーピングされたエージェントが、人間方策よりも平均してより多くの高齢者を救助しており、制約下での優れた倫理的意思決定を示している。
• 追加の倫理的制約があるにもかかわらず、主なタスク（例：ミルクをつかむ、ドライブ）におけるパフォーマンスは競争力を持ち、エシックスシェーピングなしの標準的なRLよりも倫理的結果で優れている。
• すべての3つのテストシナリオにおいて一貫した倫理的行動の改善が得られ、さまざまな倫理的ジレンマにわたる頑健さと一般化能力を示している。
• 図9のエラーバーが示すように、1エピソードあたりの高齢者救助平均数は、エシックスシェーピングされたエージェントが人間方策を上回っており、統計的有意性がある。
• 手動による倫理的報酬設計の必要性が顕著に削減され、不完全で目的非特化の人間データでも効果的に機能することが実証された。