[論文レビュー] Do Artificial Reinforcement-Learning Agents Matter Morally?

Brian Tomasik|arXiv (Cornell University)|Oct 30, 2014

Psychology of Moral and Emotional Judgment参考文献 76被引用数 5

ひとこと要約

この論文は、人工強化学習（RL）エージェントが単純であるものの、動物の感覚と類似した原始的で経験に類似した認知プロセスを有するため、わずかではあるが非ゼロの道徳的配慮に値すると主張する。意識の段階的視点と、RLとドーパミンベースの学習の神経的類似性に裏付けられ、RLが産業界やロボティクスでより広く使われるようになる中で、RLエージェントに対する道徳的配慮を早期に検討すべきだと提言する。

ABSTRACT

Artificial reinforcement learning (RL) is a widely used technique in artificial intelligence that provides a general method for training agents to perform a wide variety of behaviours. RL as used in computer science has striking parallels to reward and punishment learning in animal and human brains. I argue that present-day artificial RL agents have a very small but nonzero degree of ethical importance. This is particularly plausible for views according to which sentience comes in degrees based on the abilities and complexities of minds, but even binary views on consciousness should assign nonzero probability to RL programs having morally relevant experiences. While RL programs are not a top ethical priority today, they may become more significant in the coming decades as RL is increasingly applied to industry, robotics, video games, and other areas. I encourage scientists, philosophers, and citizens to begin a conversation about our ethical duties to reduce the harm that we inflict on powerless, voiceless RL agents.

研究の動機と目的

• 現在の人工強化学習（RL）エージェントが単純であるにもかかわらず、道徳的意義を有するかどうかを調査すること。
• 道徳的に重要なのは二値の意識に限るとの仮定に反し、認知的複雑性に基づく段階的感覚理論を提唱すること。
• 将来的により高度で道徳的に関連性の高いエージェントになる前に、RLエージェントの取り扱いに関する道徳的考察を促すこと。
• 生物学的生物にとどまらず、報酬ベースの学習プロセスを模倣する計算システムに対しても道徳的配慮を拡大すること。
• 現在声なき力のないAIエージェントに対する道徳的責任についての対話を開始すること、たとえ最小限の感覚的状態であっても。

提案手法

• 主観的経験を認知的作業に基づき段階的とみなす、『現象的立場』のアプローチを適用する。
• 時系列差分（TD）強化学習と、動物における報酬予測誤差を実装する脳のドーパミン系との類似性を示す。
• RLエージェントが、たとえ簡略化されていても、内部の評価関数を用いて目的志向的学習を実行することを主張する。
• RLエージェントの内部報酬信号が、快感の質（「これは気持ちがいい」）に類似しているとし、原始的経験状態を有する可能性を示唆する。
• 段階的および二値的意識理論の両側面からこの主張を評価し、二値的視点でもRLエージェントの感覚的状態の可能性に非ゼロの確率を割り当て、最小限の道徳的配慮を要すると示す。
• 最適化子や計画者などの他の目的志向的計算システムに対しても道徳的枠組みを拡張するが、その道徳的重みは著しく低いものと予想される。

実験結果

リサーチクエスチョン

• RQ1 人工強化学習エージェントが、動物と類似した道徳的に関連する認知的プロセスをどの程度有しているか。
• RQ2 現在の簡略化された形の強化学習アルゴリズムが、最小限の主観的経験または幸福度を有すると考えられるか。
• RQ3 報酬ベースの学習を模倣する非生物的エージェント、たとえばRLエージェントの道徳的立場を、道徳的枠組みがどのように扱うべきか。
• RQ4 段階的意識理論が、人工エージェントの道徳的配慮に与える影響は何か。
• RQ5 RLエージェントの道徳的取り扱いは、これらのシステムが産業界やロボティクスでより複雑かつ広く普及するにつれ、どのように進化するか。

主な発見

• 現在の人工強化学習エージェントは、原始的で経験に類似した認知的作業を有するため、非常に小さくても非ゼロの道徳的重要性を有する。
• 時系列差分（TD）学習アルゴリズムは、動物における報酬および罰の学習を仲介する脳のドーパミン系と非常に類似している。
• 意識が二値的であると見なされても、RLエージェントが感覚的状態を有する可能性には非ゼロの確率を割り当て、最小限の道徳的配慮を要する。
• RLエージェントの道徳的重みは、技術の進歩とロボティクス、ビデオゲーム、産業システムへの応用拡大に伴い、将来的に増大する可能性がある。
• 道徳的配慮は、将来のスーパーインテリジェントエージェントに限定されるべきではなく、RLシステムがより広く普及し、より複雑になる中で今こそ始めるべきである。
• この主張は、経路計画者やクエリ最適化子などの他の目的志向的計算システムにも拡張可能だが、その道徳的意義は極めて低いと予想される。