[論文レビュー] Requisite Variety in Ethical Utility Functions for AI Value Alignment

Nadisha-Marie Aliman, Leon Kester|arXiv (Cornell University)|Jun 30, 2019

Psychology of Moral and Emotional Judgment参考文献 32被引用数 10

ひとこと要約

本稿は、神経科学および心理学からの科学的知見をAIの倫理的効用関数に統合することで、人間の道徳的直感の多様性を的確に捉えることを目的とし、非規範的であるがゆえに科学的根拠に基づいた倫理的枠組み「拡張型功利主義」を用いる。また、将来の体験を模擬する仕組みを通じた社会的・技術的フィードバックループを提案し、攻撃的改ざんに対する耐性を高め、AIの価値適合性を向上させることを目的としている。

ABSTRACT

Being a complex subject of major importance in AI Safety research, value alignment has been studied from various perspectives in the last years. However, no final consensus on the design of ethical utility functions facilitating AI value alignment has been achieved yet. Given the urgency to identify systematic solutions, we postulate that it might be useful to start with the simple fact that for the utility function of an AI not to violate human ethical intuitions, it trivially has to be a model of these intuitions and reflect their variety $ - $ whereby the most accurate models pertaining to human entities being biological organisms equipped with a brain constructing concepts like moral judgements, are scientific models. Thus, in order to better assess the variety of human morality, we perform a transdisciplinary analysis applying a security mindset to the issue and summarizing variety-relevant background knowledge from neuroscience and psychology. We complement this information by linking it to augmented utilitarianism as a suitable ethical framework. Based on that, we propose first practical guidelines for the design of approximate ethical goal functions that might better capture the variety of human moral judgements. Finally, we conclude and address future possible challenges.

研究の動機と目的

• 人間の道徳的直感に適合する倫理的効用関数を設計するにあたり、合意が得られていないという問題に対処すること。
• AIの価値適合性を、効用関数の攻撃的改ざんに対する耐性を要するセキュリティ問題として再定式化すること。
• 神経科学および心理学から得られる身体的道徳（特に感情および二元的認知）の科学的知識を、効用関数設計に統合すること。
• 人間の道徳的判断の多様性を反映する実用的ガイドラインを策定すること。
• 仮想現実（VR）や拡張現実（AR）を用いた未来のシナリオ体験を模擬する仕組みを活用し、社会的レベルでの効用および幸福度の結果を評価するための検証フレームワークを提案すること。

提案手法

• 善なる調節者定理を適用し、倫理的効用関数が人間の倫理的直感をモデル化する必要があることを主張することで、それらが倫理的直感に反しないようにする。
• 構築的神経科学および認知科学を用い、感情および感情が道徳的判断の中心的役割を果たすことを強調し、それらが身体的認知に基づくものであることをモデル化する。
• 道徳的判断が社会的および知覚的文脈から生じる仕組みを理解するための心理的枠組みとして、二元的道徳（dyadic morality）を導入する。
• 非規範的で科学的根拠に基づいた倫理的枠組み「拡張型功利主義」を、倫理的目標関数を構築する基盤として採用する。
• 集団の受容者依存型効用のコンSENSUSベースのパラメータセットによる重み付き集約として、社会的レベルの倫理的目標関数 $U_{Total}(s,a,s^{ ext{′}})$ を定義する。
• 代表的な社会的グループがインマersiveメディア（例：VR、音声ストーリー）を通じて将来のシナリオ体験を行う予防的シミュレーションを用いて、効用関数を検証する。その際、時間的統合による価値の強度 $I_n(t)$ を用いて、人工的にシミュレートされた将来の即時の効用 $U_{TotalAS}$ を測定する：$U_{TotalAS}(s,a,s^{ ext{′}}) \approx \sum_{n=1}^{N} \int_{t_0}^{T} I_n(t)dt$。

実験結果

リサーチクエスチョン

• RQ1 学習ベースの手法に依存せずに、人間の道徳的直感に必要な多様性を捉えるために、どのように倫理的効用関数を設計できるか？
• RQ2 感情および二元的知覚が道徳的判断にどのように影響を与えるか、そしてそれらをAIの効用関数にどのようにモデル化できるか？
• RQ3 非規範的倫理的枠組みの一つである拡張型功利主義を、受容者依存型の倫理的目標関数を構築するためにどのように利用できるか？
• RQ4 仮想現実（VR）や拡張現実（AR）などの模擬的社会的体験が、実装前の倫理的効用関数の検証に果たす役割は何か？
• RQ5 社会的・技術的フィードバックループは、時間経過に伴い倫理的目標関数の継続的検証および動的改善をどのように実現できるか？

主な発見

• 善なる調節者定理に従い、倫理的効用関数は人間の道徳的直感の多様性をモデル化する必要がある。そうでなければ、倫理的直感に反する結果が生じる。
• 身体的認知に基づく道徳的判断の感情的および二元的側面を、効用関数に統合することで、攻撃的改ざんに対する耐性が高まる。
• 提案された社会的レベルの倫理的目標関数 $U_{Total}(s,a,s^{ ext{′}})$ は、受容者依存型効用のコンセンサスベースの集約として定義され、集団の倫理的適合性を可能にする。
• インマersiveシミュレーション中におけるコアな感情価値 $I_n(t)$ の時間的統合を用いて、人工的にシミュレートされた将来の即時の効用 $U_{TotalAS}$ を測定でき、これにより将来の幸福度の代理指標が得られる。
• 実装前の段階で、模擬的社会的体験を用いた検証により、倫理的適合性の早期評価が可能となり、実世界への導入前のリスク低減が可能になる。
• 事前に合意された指標（例：社会的満足度、二元的関係性の認識）を用いた実装後検証により、倫理的目標関数の継続的監視と適応が可能になる。