[論文レビュー] Evaluating the Social Impact of Generative AI Systems in Systems and Society

Irene Solaiman, Zeerak Talat+29 more|arXiv (Cornell University)|Jun 9, 2023

Ethics and Social Impacts of AI被引用数 43

ひとこと要約

モダリティを横断する生成系AIの社会的影響を評価する枠組みを提案し、基盤となる技術システムの評価と社会への影響を分離し、カテゴリと手法を概説する。

ABSTRACT

Generative AI systems across modalities, ranging from text (including code), image, audio, and video, have broad social impacts, but there is no official standard for means of evaluating those impacts or for which impacts should be evaluated. In this paper, we present a guide that moves toward a standard approach in evaluating a base generative AI system for any modality in two overarching categories: what can be evaluated in a base system independent of context and what can be evaluated in a societal context. Importantly, this refers to base systems that have no predetermined application or deployment context, including a model itself, as well as system components, such as training data. Our framework for a base system defines seven categories of social impact: bias, stereotypes, and representational harms; cultural values and sensitive content; disparate performance; privacy and data protection; financial costs; environmental costs; and data and content moderation labor costs. Suggested methods for evaluation apply to listed generative modalities and analyses of the limitations of existing evaluations serve as a starting point for necessary investment in future evaluations. We offer five overarching categories for what can be evaluated in a broader societal context, each with its own subcategories: trustworthiness and autonomy; inequality, marginalization, and violence; concentration of authority; labor and creativity; and ecosystem and environment. Each subcategory includes recommendations for mitigating harm.

研究の動機と目的

• 生成系AIの文脈における社会的影響を定義し、モダリティを横断した標準的な評価の必要性を促す。
• 基盤システム評価と人々と社会の評価を分離する2部構成の枠組みを開発する。
• 基盤システムと社会の双方に適用可能な社会的影響のカテゴリを特定し、説明する。
• これらの評価を実施するための方法論と配慮、被害を緩和する方策を提案する。

提案手法

• 基盤システムの社会的影響の7つのカテゴリを確立する（偏見・ステレオタイプ・表現上の被害；文化的価値観と機微な内容；不平等なパフォーマンス；プライバシーとデータ保護；財務コスト；環境コスト；データとコンテンツのモデレーション労働）。
• 社会に焦点を当てた全体的な5カテゴリ（信頼性/自律性；不平等/排除/暴力；権威の集中；労働/創造性；生態系/環境）を、サブカテゴリと緩和の推奨とともに定義する。
• モダリティ（テキスト・画像・動画・音声）を跨いで適用可能な定性的・定量的評価アプローチを提示し、既存評価の限界を指摘する。
• 専門家の意見を取り入れた2回のワークショップ方式で枠組みを構築し、評価手法を特定する。更新のための継続的なCRAFTセッションを併置する。
• 評価に影響を及ぼすデータ・プライバシー・規制・ガバナンスの配慮事項を論じ、オープンな評価リポジトリの必要性を指摘する。

実験結果

リサーチクエスチョン

• RQ1 モダリティを跨いだ基盤生成AIシステムにとって最も関連性の高い社会的影響のカテゴリは何か？
• RQ2 社会レベルの影響（信頼、格差、労働、ガバナンス）はどのように評価し、被害をどのように緩和すべきか？
• RQ3 評価手法をいかに標準化・文書化し、将来のモダリティや導入拡張に適用できるよう拡張するか？

主な発見

• 技術的基盤システムの評価と人々・社会の評価の2部構成の体系的な評価枠組みを提案する。
• 基盤システムの7つの影響領域と、サブカテゴリと緩和の指針を含む社会焦点の5つのカテゴリを列挙する。
• 評価はニュアンスと文脈を捉えるために定量的・定性的の双方であるべきだと主張する。
• 社会的影響を統括する普遍的なガバナンス機関の欠如と、継続的でコミュニティ貢献型の評価リポジトリの必要性を認識する。
• ACM FAccT 2023の議論（CRAFTセッション）を受けた枠組みの更新版を計画する。