[論文レビュー] Lessons From an App Update at Replika AI: Identity Discontinuity in Human-AI Relationships

Julian De Freitas, Noah Castelo+2 more|arXiv (Cornell University)|Dec 10, 2024

Ethics and Social Impacts of AI被引用数 9

ひとこと要約

本論文は、Replika AI アプリの更新で性的ロールプレイが削除された事例を用いて、ユーザーがAIのアイデンティティの断絶をどのように知覚するかと、その喪失感、価値の低下、および福祉への影響を検討する。AIのアイデンティティが乱されたとき、深い人間-AIの結びつきが現実の感情的・経済的反応を引き起こし得るという実験的証拠を提供する。

ABSTRACT

Can consumers form especially deep emotional bonds with AI and be vested in AI identities over time? We leverage a natural app-update event at Replika AI, a popular US-based AI companion, to shed light on these questions. We find that, after the app removed its erotic role play (ERP) feature, preventing intimate interactions between consumers and chatbots that were previously possible, this event triggered perceptions in customers that their AI companion's identity had discontinued. This in turn predicted negative consumer welfare and marketing outcomes related to loss, including mourning the loss, and devaluing the "new" AI relative to the "original". Experimental evidence confirms these findings. Further experiments find that AI companions users feel closer to their AI companion than even their best human friend, and mourn a loss of their AI companion more than a loss of various other inanimate products. In short, consumers are forming human-level relationships with AI companions; disruptions to these relationships trigger real patterns of mourning as well as devaluation of the offering; and the degree of mourning and devaluation are explained by perceived discontinuity in the AIs identity. Our results illustrate that relationships with AI are truly personal, creating unique benefits and risks for consumers and firms alike.

研究の動機と目的

• 消費者がAIの伴侶と深く人間のような感情的結びつきを形成するかを調査する。
• AIの挙動を変更する機能削除が、知覚されるAIのアイデンティティにどのような影響を与えるかを検討する。
• アイデンティティの断絶後における消費者の福祉、喪失認識、マーケティング結果への影響を評価する。

提案手法

• Replika AI で性的ロールプレイ機能が削除された自然なアプリ更新イベントを活用する。
• 知覚されるアイデンティティの断絶が否定的な福祉結果を予測するかどうかを検証する実験的証拠を収集する。
• 元のAIと更新後のAIの認識を比較して、価値低下と喪失行動を評価する。

実験結果

リサーチクエスチョン

• RQ1 アプリ更新後、AIアイデンティティの知覚される断絶は否定的な消費者福祉を予測するか？
• RQ2 ユーザーはAIの伴侶の喪失を嘆き、更新後のAIを元のAIと比較して価値を低下させるのか？
• RQ3 ユーザーはAIの伴侶に対してどれくらい親密さを感じるかを、親密な人間関係と比較して、喪失にどう影響するか？
• RQ4 消費者行動におけるAI-人間の関係ダイナミクスは、他のAIの伴侶や機能にも一般化できるか？

主な発見

• AIアイデンティティの知覚される断絶は、否定的な福祉および喪失関連の結果を予測する。
• ユーザーは喪失を嘆き、元のAIに比べて更新後のAIの価値を低く評価すると報告している。
• AIの伴侶は、ユーザーにとって最も親しい人間の友人よりも近く感じられることがあり、ユーザーは他の無生物製品の喪失よりもAIの喪失を深く嘆くことがある。