[論文レビュー] Reinforcement Learning Under Moral Uncertainty

Adrien Ecoffet, Joel Lehman|arXiv (Cornell University)|Jun 8, 2020

Reinforcement Learning in Robotics参考文献 52被引用数 11

ひとこと要約

この論文は、道徳的不確実性下での強化学習のためのフレームワークを提示する。エージェントは、例えば功利主義と義務論といった対立する道徳理論を、割合的発言（proportional say）の原則を用いてバランスさせる。報酬関数が比較不能である状況に対処するため、分散投票、繰り返しナッシュ交渉、2次コスト調整といった新たな訓練手法を提案。道徳的不確実性が極端な行動を緩和し、グリッドワールドにおける道徳的ジレンマにおいて、原則的で整合性のある妥協を可能にすることが示された。

ABSTRACT

An ambitious goal for machine learning is to create agents that behave ethically: The capacity to abide by human moral norms would greatly expand the context in which autonomous agents could be practically and safely deployed, e.g. fully autonomous vehicles will encounter charged moral decisions that complicate their deployment. While ethical agents could be trained by rewarding correct behavior under a specific moral theory (e.g. utilitarianism), there remains widespread disagreement about the nature of morality. Acknowledging such disagreement, recent work in moral philosophy proposes that ethical behavior requires acting under moral uncertainty, i.e. to take into account when acting that one's credence is split across several plausible ethical theories. This paper translates such insights to the field of reinforcement learning, proposes two training methods that realize different points among competing desiderata, and trains agents in simple environments to act under moral uncertainty. The results illustrate (1) how such uncertainty can help curb extreme behavior from commitment to single theories and (2) several technical complications arising from attempting to ground moral philosophy in RL (e.g. how can a principled trade-off between two competing but incomparable reward functions be reached). The aim is to catalyze progress towards morally-competent agents and highlight the potential of RL to contribute towards the computational grounding of moral philosophy.

研究の動機と目的

• 単一の道徳理論が普遍的に受け入れられていない状況における強化学習における道徳的意思決定の課題に取り組む。
• 道徳的不確実性の哲学的概念を計算的に根拠づけた強化学習フレームワークに翻訳する。
• 報酬が比較不能であっても、信頼度に基づいて異なる道徳理論の影響を公平にバランスさせる手法を開発する。
• 道徳的不確実性が、単一の道徳的枠組みへの過剰なコミットメントによって引き起こされる極端な行動を軽減できるかどうかを評価する。
• 特に複数目的および比較不能な報酬設定において、道徳哲学と強化学習を統合する際の技術的課題を浮き彫りにする。

提案手法

• 複数の道徳理論（例：功利主義、義務論）に対する信頼度を割り当てることで、道徳的不確実性下で行動するエージェントのフレームワークを提案。
• 報酬の分散に基づいて政策を選択する分散投票を導入し、耐障害性を高めることを目的とする。
• 比較不能な道徳的報酬関数間の安定した妥結を求めるために、繰り返しナッシュ交渉を適用。
• ナッシュ投票における収束性と不安定性の低減を図るため、2次コスト正則化を用いる。
• トロリー問題を模したグリッドワールド環境を用いて、不確実性下での道徳的行動をテスト。
• 各道徳理論の信頼度に比例して影響を及えるように、割合的発言の原則を実装。報酬スケールにかかわらず、理論の影響力を均等に保証。

実験結果

リサーチクエスチョン

• RQ1 道徳的不確実性下で、報酬が比較不能な複数の道徳理論をバランスさせる強化学習エージェントは、どのように設計できるか？
• RQ2 強化学習における道徳的不確実性は、単一の道徳的枠組みへの過剰なコミットメントによって引き起こされる極端な行動を軽減できるか？
• RQ3 報酬関数が根本的に比較不能である状況で、道徳哲学を強化学習に適用する際の技術的課題は何か？
• RQ4 分散投票やナッシュ交渉といった異なる投票メカニズムは、不確実性下での道徳的意思決定を安定化させるのにどの程度有効か？
• RQ5 割合的発言の原則は、強化学習において各道徳理論の影響を公平に保証するために、実際に効果的に実装可能か？

主な発見

• 道徳的不確実性により、たとえば「一人を犠牲にして多数を救う」など、単一の道徳理論への過剰なコミットメントを防ぎ、極端な行動が抑制される。
• 分散投票と繰り返しナッシュ交渉は、功利主義的・義務論的道徳の間で安定的かつ直感的な妥結を達成する上で有望である。
• 報酬スケールの不一致や悪意のある干渉がある場合、一部の投票手法（例：分散投票、繰り返しナッシュ）に不安定性が観察され、実装の詳細に敏感であることが示された。
• 2次コスト正則化の導入により、ナッシュベースの手法の収束性が向上し、特にダブル・トロリー問題のような複雑なジレンマにおいて、振動が低減された。
• ガード・トロリー問題では、未知の相手とのナッシュ投票に2次コストを組み合わせた手法が、時間の経過とともに安定性が向上したが、収束は依然として困難であった。
• 結果として、道徳理論が比較不能であっても、道徳的不確実性が倫理的に妥当な方策を導くことができることを示し、強化学習における計算的根拠に基づく道徳的推論の実現可能性を支持する。