[論文レビュー] Contextual Confidence and Generative AI

Shrey Jain, Zoë Hitzig+1 more|arXiv (Cornell University)|Nov 2, 2023

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本論文は、生成的AIが通信文脈を混乱させることへの対応として、文脈的信頼性（contextual confidence）をフレームワークとして導入し、コンテンツの出自、ウォーターマーキング、関係的パスワード、文脈的訓練などの包含的・動員的戦略を提案することで、真の通信の文脈を安定化させる。本論文は、技術的・社会的・政策的対策の構造的分類を提示し、AIを介した対話における信頼性と文脈の回復を図る。

ABSTRACT

Generative AI models perturb the foundations of effective human communication. They present new challenges to contextual confidence, disrupting participants' ability to identify the authentic context of communication and their ability to protect communication from reuse and recombination outside its intended context. In this paper, we describe strategies--tools, technologies and policies--that aim to stabilize communication in the face of these challenges. The strategies we discuss fall into two broad categories. Containment strategies aim to reassert context in environments where it is currently threatened--a reaction to the context-free expectations and norms established by the internet. Mobilization strategies, by contrast, view the rise of generative AI as an opportunity to proactively set new and higher expectations around privacy and authenticity in mediated communication.

研究の動機と目的

• 生成的AIが通信の文脈的信頼性を損なうことで、ユーザーが通信の真の文脈を特定・保護する能力を損なうという問題に対処すること。
• 生成的AIがアイデンティティ、時間、場所、意図といった従来の文脈的マーカーを、文脈フリーな再利用・再結合を可能にすることで、どのように破壊するかを分析すること。
• AIに脅かされる通信環境において文脈を安定化させるための、『包含』と『動員』の二重フレームワーク戦略を提唱すること。
• 特に安全レビューとモデルカードにおいて、標準的かつ実証的妥当性を持つアプローチによる文脈的信頼性の評価方法を推進すること。
• オープンソースおよび分散型AIエコシステムにおける現在の戦略の限界を指摘し、分散型モデル向けの文脈保持メカニズムに関する新たな研究の必要性を提起すること。

提案手法

• 劣化した通信環境において文脈を再確立するための『包含戦略』を提唱し、コンテンツの出自、コミュニティノート、中央集権的デジタルアイデンティティ、アイデンティティの社会的交差性を含む。
• 真正性とプライバシーの高い基準を前もって設定するための『動員戦略』を導入し、ウォーターマーキング、モデル検証、関係的パスワード、共謀に強いデジタルアイデンティティを含む。
• 使用およびコンテンツポリシー、レート制限、プロンプト保護、否定可能／消えるメッセージなどを含む、文脈を保護するための技術的・政策的メカニズムを概説する。
• 文脈的訓練、データ検証、データ協同組合、安全なデータ共有を通じて、モデル行動およびデータパイプラインに文脈を埋め込むことを提唱する。
• 多くの戦略において中央集権的管理の必要性を強調しつつ、オープンソースおよび分散型AIエコシステムにおけるその限界を指摘する。
• 実世界での有効性および予期しない副作用を評価するための実証的ユーザビリティ研究およびアンケート調査の実施を要請する。

Figure 1: Summary of parties to pursue strategies discussed in this report.

実験結果

リサーチクエスチョン

• RQ1 生成的AIは、ユーザーが通信の文脈を特定・保護する能力をどのように根本的に損なうのか？
• RQ2 技術的・社会的・政策的メカニズムの中で、AIを介した通信における文脈的信頼性を効果的に回復できるものは何か？
• RQ3 現在の責任体制およびコミットメントメカニズム（例：利用規約、スクリーンショットアラート）は、文脈的整合性を保つためになぜ不十分なのか？
• RQ4 ウォーターマーキング、関係的パスワード、データ協同組合といった戦略を、オープンソースおよび分散型AIモデルにどのように適応できるか？
• RQ5 現在の検証および事実確認ツールの予期しない副作用は何か。それらを文脈的信頼性を支援するように再設計するにはどうすればよいか？

主な発見

• 生成的AIは、コンテンツの文脈フリーな再利用・再結合を可能にすることで、ユーザーがメッセージの出所・時刻・意図を特定する能力を損なう。
• コンテンツの出自やコミュニティノートといった包含戦略は、劣化した通信環境で文脈を再確立するのに役立つが、中央集権的執行がなければ有効性に限界がある。
• ウォーターマーキングやモデル検証といった動員戦略は、AI生成コンテンツに真正性と追跡可能性を事前に埋め込む点で有望である。
• 関係的パスワードや共謀に強いデジタルアイデンティティは、アイデンティティと通信文脈を結びつける画期的なアプローチを提供するが、スケーラビリティとセキュリティはさらなる検証を要する。
• 現在の責任体制（例：利用規約、スクリーンショット通知）は、しばしば誤解されたり一貫性が欠けたりするため、より明確でユーザー中心のコミットメントツールの必要性が浮き彫りになる。
• 多くの提案戦略は、分散型展開が中央集権的ポリシー、レート制限、インターフェース制御を損なうオープンソースAIエコシステムでは効果を発揮しない。