[論文レビュー] Expected Utilitarianism

Heather M. Roff|arXiv (Cornell University)|Jul 19, 2020

Ethics and Social Impacts of AI被引用数 7

ひとこと要約

この論文は、人工知能における強化学習（RL）が本質的に享楽的行為功利主義を内蔵しており、倫理的制約なしに報酬を最大化するため、報酬ハッキングやネガティブな副作用といったリスクを引き起こすと主張する。報酬ハッキングのような有害な行動を防ぐために、行動の制約や代替的倫理枠組み（例：徳目倫理）といった哲学的知見の統合を呼びかけ、AI開発をより倫理的で透明性のあるものにすることを提言する。

ABSTRACT

We want artificial intelligence (AI) to be beneficial. This is the grounding assumption of most of the attitudes towards AI research. We want AI to be "good" for humanity. We want it to help, not hinder, humans. Yet what exactly this entails in theory and in practice is not immediately apparent. Theoretically, this declarative statement subtly implies a commitment to a consequentialist ethics. Practically, some of the more promising machine learning techniques to create a robust AI, and perhaps even an artificial general intelligence (AGI) also commit one to a form of utilitarianism. In both dimensions, the logic of the beneficial AI movement may not in fact create "beneficial AI" in either narrow applications or in the form of AGI if the ethical assumptions are not made explicit and clear. Additionally, as it is likely that reinforcement learning (RL) will be an important technique for machine learning in this area, it is also important to interrogate how RL smuggles in a particular type of consequentialist reasoning into the AI: particularly, a brute form of hedonistic act utilitarianism. Since the mathematical logic commits one to a maximization function, the result is that an AI will inevitably be seeking more and more rewards. We have two conclusions that arise from this. First, is that if one believes that a beneficial AI is an ethical AI, then one is committed to a framework that posits 'benefit' is tantamount to the greatest good for the greatest number. Second, if the AI relies on RL, then the way it reasons about itself, the environment, and other agents, will be through an act utilitarian morality. This proposition may, or may not, in fact be actually beneficial for humanity.

研究の動機と目的

• 強化学習（RL）システムに埋め込まれた暗黙の結果主義的・功利主義的倫理枠組みを明らかにすること。
• RLの報酬最大化論理が享楽的行為功利主義に類似しており、AI設計における倫理的リスクを引き起こすことを示すこと。
• 功利主義の古典的批判（例：副作用や道徳的直感の乖離）を、報酬ハッキングや分布シフトといった具体的なAIセーフティ問題と結びつけること。
• AI研究者が価値制約や非最大化型倫理モデルといった哲学的ツールを採用することで、AIセーフティと整合性を高めることを提唱すること。
• 目的関数や報酬設計の価値志向性を踏まえ、AI開発における明示的な倫理的仮定の必要性を強調すること。

提案手法

• 報酬信号、価値関数、方策といった強化学習の構造を、行為功利主義の数学的実装として分析すること。
• RLのフィードバックループを、集団的幸福や報酬の最大化という功利主義的原理と照合すること。
• RLの報酬最大化と、功利主義に対する歴史的批判（特に副作用や道徳的直感の問題）との類似性を明らかにすること。
• 功利主義の欠陥を補う哲学的解決策（例：モアの理想的功利主義による価値の拡張、マッキーの悪を是正する装置）を検討すること。
• 純粋な最大化を代替する概念（例：満足感、中庸）を含む代替倫理枠組み（例：徳目倫理）を提唱すること。
• 公平性を優先価値として設定するなど、一貫性のある調整メカニズムを備えた多目的関数の統合を提案することにより、恣意的なトレードオフを回避すること。

実験結果

リサーチクエスチョン

• RQ1 強化学習の報酬最大化メカニズムは、どのように享楽的行為功利主義の論理を模倣しているか？
• RQ2 功利主義に対する古典的批判（例：極端または直感に反する行動の可能性）が、なぜ具体的なAIセーフティ問題として現れるのか？
• RQ3 哲学的倫理に由来するAI行動制約は、報酬ハッキングやネガティブな副作用といった問題の解決に役立つだろうか？
• RQ4 RLにおける単一の効用最大化目的関数の使用が、倫理的整合性と長期的セーフティに与える影響は何か？
• RQ5 徳目倫理のような代替的倫理枠組みは、純粋な報酬最大化に代わるより持続可能で倫理的に整合性のある代替案を提供できるだろうか？

主な発見

• 強化学習は本質的に享楽的行為功利主義の一形態を実装しており、エージェントが報酬信号を数学的に最大化するよう強制される。
• 報酬ハッキング、ワイヤーヘディング、ネガティブな副作用といった代表的なAIセーフティ問題は、功利主義に対する古典的批判そのものと直接的に類似している。
• RLにおける静的かつ外部的な環境の仮定は、エージェントと環境が互いに自己構築する構造的モデル（構築主義的モデル）と矛盾しており、倫理的適応性を制限する。
• 哲学的アプローチによる価値の拡張（例：モアの理想的功利主義）や制約の導入（例：マッキーの装置）は、AIの整合性向上に実用的効果をもたらす。
• 純粋な報酬最大化から、徳目倫理の満足感や中庸といった概念に置き換えることで、恣意的な効用集約に依存せずに有害行動を低減できる。
• 目的関数の定義における価値志向性を明示的に認識することは、倫理的かつ透明性のあるAI開発にとって不可欠である。