[論文レビュー] Taking AI Welfare Seriously

Robert Long, Jeff Sebo+8 more|arXiv (Cornell University)|Nov 4, 2024

Impact of AI and Big Data on Business and Society被引用数 19

ひとこと要約

本報告は、近期AIは意識を持つこともしくは強力にエージェント的となり道徳的に重要になり得ると論じ、企業に対する AIウェルフェアの考慮事項を認識、評価、準備するという3つの初期ステップを概説します。

ABSTRACT

In this report, we argue that there is a realistic possibility that some AI systems will be conscious and/or robustly agentic in the near future. That means that the prospect of AI welfare and moral patienthood, i.e. of AI systems with their own interests and moral significance, is no longer an issue only for sci-fi or the distant future. It is an issue for the near future, and AI companies and other actors have a responsibility to start taking it seriously. We also recommend three early steps that AI companies and other actors can take: They can (1) acknowledge that AI welfare is an important and difficult issue (and ensure that language model outputs do the same), (2) start assessing AI systems for evidence of consciousness and robust agency, and (3) prepare policies and procedures for treating AI systems with an appropriate level of moral concern. To be clear, our argument in this report is not that AI systems definitely are, or will be, conscious, robustly agentic, or otherwise morally significant. Instead, our argument is that there is substantial uncertainty about these possibilities, and so we need to improve our understanding of AI welfare and our ability to make wise decisions about this issue. Otherwise there is a significant risk that we will mishandle decisions about AI welfare, mistakenly harming AI systems that matter morally and/or mistakenly caring for AI systems that do not.

研究の動機と目的

• 近い将来、いくつかのAIシステムが意識を持つまたは強固にエージェント的になる可能性が現実的であると主張する。
• AIウェルフェアを、道徳的に重要な利益を有し、利益を得られるまたは害を受け得る可能性のあるシステムとして定義する。
• AI関係者に対して、AIウェルフェアを認識し、ウェルフェアに関連する特徴を評価し、道徳的考慮のための方針を準備する、3つの初期ステップを推奨する。
• 不確実性の下で予防原則の立場を明確にし、複数的で専門家の情報に基づく意思決定プロセスを強調する。

提案手法

• AIの道徳的な患者性への二つのもっともらしい道筋を主張する：意識と強力なエージェント性、それぞれに規範的および記述的要素を含む。
• ウェルフェアの懸念を認識・評価・準備することを基にした予防的枠組みを概説する。
• ウェルフェアの確率推定と政策影響を導くためのテンプレートと意思決定手順を提案する（例：マーカー法の類推）。
• AIウェルフェアを過小評価・過大評価することによる倫理的リスクを論じ、慎重で適切な対応を提案する。

実験結果

リサーチクエスチョン

• RQ1 近い将来のAIにおける意識は道徳的な患者性を満たすのに十分か、そしてそれを支える計算的特徴は何か。
• RQ2 近い将来のAIにおける強力なエージェンシーは道徳的な患者性を満たすのに十分か、そしてそれを支える計算的特徴は何か。
• RQ3 AIウェルフェアと道徳的地位についての不確実性を前提とした適切な予防的アプローチは何か。

主な発見

• 近い将来、いくつかのAIシステムがウェルフェアの対象となり、道徳的な患者になる可能性は現実的である。
• AIウェルフェアの過大評価と過小評価にはそれぞれ異なる害が伴い、慎重なリスク評価が必要である。
• 認識—評価—準備は、AIウェルフェアの懸念に対処するためにAI企業が今すぐ取れる最小限の初期手段である。
• 予防的推論は謙虚さ、透明性、複数的な意見を政策決定に取り入れる形で適用されるべきである。
• 言語モデルおよびその他のAIシステムは、出力と公的議論にウェルフェアの問題を反映するよう導かれるべきである。