[論文レビュー] Recognising the importance of preference change: A call for a coordinated multidisciplinary research effort in the age of AI

Matija Franklin, Hal Ashton+2 more|arXiv (Cornell University)|Mar 20, 2022

Decision-Making and Behavioral Economics被引用数 8

ひとこと要約

この論文は、行動変容を通じてAIシステムが好みの変化を引き起こす仕組みを研究するための新しい多分野的分野「好みの科学（Preference Science）」を提唱する。選好の進化をモデル化するための枠組みを提示し、許容される変化と操作の境界を強調している。

ABSTRACT

As artificial intelligence becomes more powerful and a ubiquitous presence in daily life, it is imperative to understand and manage the impact of AI systems on our lives and decisions. Modern ML systems often change user behavior (e.g. personalized recommender systems learn user preferences to deliver recommendations that change online behavior). An externality of behavior change is preference change. This article argues for the establishment of a multidisciplinary endeavor focused on understanding how AI systems change preference: Preference Science. We operationalize preference to incorporate concepts from various disciplines, outlining the importance of meta-preferences and preference-change preferences, and proposing a preliminary framework for how preferences change. We draw a distinction between preference change, permissible preference change, and outright preference manipulation. A diversity of disciplines contribute unique insights to this framework.

研究の動機と目的

• AIシステムによる行動変容を通じた人間の好みの変化が引き起こす倫理的・社会的リスクに対処すること。
• AIおよび機械学習の文脈において好みの変化を研究する統一的・多分野的学術分野「好みの科学（Preference Science）」を確立すること。
• 従来の経済モデルを超えて、意識的・無意識的・自動的な精神的プロセスを含めた好みの操作を可能にすること。
• 特にAI駆動環境において、好みの変化、許容される変化、操作的変化の違いを明確にすること。
• AIシステムにおける好ましい好みの操作と悪用的好みの操作を区別するための倫理的・法的枠組みを構築すること。

提案手法

• 好みを、明示的・意識的・反復的プロセスと、暗黙的・無意識的・自動的な精神状態の両方として広く定義する。
• 経済学（顕在的・表明的好み）、心理学（好む／嫌う判断）、行動科学（行動インサイトと選択構造）の概念を統合する。
• メタ好み（将来の好みについての好み）と好みの変化に関する好み（好みの形成方法についての好み）を導入する。
• 選択構造の変化が能力と行動に影響を与え、それが結果として好みの変化を引き起こす動的枠組みを提唱する。
• COM-Bと行動科学のモデルを用いて、環境設計から好みの進化への因果的経路をマッピングする。
• 環境、能力、行動の制御的変化が好みに与える影響をテストするために、好みを主徴的変数として使用する実証的およびシミュレーション研究を提唱する。

実験結果

リサーチクエスチョン

• RQ1 AI駆動の行動変容技術は、ユーザーの行動に影響を与えるだけでなく、どのようにしてユーザーの好みそのものを変化させるのか？
• RQ2 AIシステムにおいて、許容される好みの変化と操作的好みの操作とは、どのように区別されるのか？
• RQ3 メタ好みと好みの変化に関する好みは、人間-AIインタラクションにおいてどのように形式的にモデル化され、測定可能となるのか？
• RQ4 選択構造と環境設計は、好みの出現と進化にどのような形で影響を与えるのか？
• RQ5 AIアプリケーションにおける好ましい好みの変化と悪用的好みの変化を定義するための倫理的・法的基準は何か？

主な発見

• 機械学習を用いてレコメンデーションをパーソナライズするAIシステムは、行動に影響を与えるだけでなく、ユーザーの好みに持続的な変化を引き起こす。
• 好みの変化は、行動変容の外部化された結果であり、現在のAIの整合性や倫理的枠組みではしばしば見過ごされている。
• 従来の経済的好みモデル（例：顕在的好み）は、無意識的・自動的・変化する欲求的プロセスを無視するため、不十分である。
• メタ好みと好みの形成方法に関する好みは、長期的な好みの安定性と倫理的設計を理解する上で極めて重要である。
• 選択構造は、行動の機会と認知的能力の両方を変化させることで、好みの進化に顕著な影響を与える。
• 人間の好みを変化させるAIシステムを倫理的に管理するためには、協働的で多分野的である必要がある研究活動—すなわち「好みの科学（Preference Science）」—が不可欠である。