[論文レビュー] From human-centered to social-centered artificial intelligence: Assessing ChatGPT's impact through disruptive events

Skyler Wang, Ned Cooper+1 more|arXiv (Cornell University)|May 31, 2023

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

この論文は、AI評価における支配的である人間中心の枠組みに挑戦し、ChatGPTの影響を社会中心のアプローチで評価することを提案する。著者らは、バイアスや幻覚といった個人レベルの懸念と同様に、社会的集団、制度、規範への影響が極めて重要であると主張する。破壊的出来事の分析を通じて、LLMであるChatGPTが集団的実践や社会的構造を再編していることを示し、技術者らが個々の中心的な指標を超えて、縦断的でエトノグラフィック的かつ参加型の評価手法を採用するよう促す。

ABSTRACT

Large language models (LLMs) and dialogue agents represent a significant shift in artificial intelligence (AI) research, particularly with the recent release of the GPT family of models. ChatGPT's generative capabilities and versatility across technical and creative domains led to its widespread adoption, marking a departure from more limited deployments of previous AI systems. While society grapples with the emerging cultural impacts of this new societal-scale technology, critiques of ChatGPT's impact within machine learning research communities have coalesced around its performance or other conventional safety evaluations relating to bias, toxicity, and "hallucination." We argue that these critiques draw heavily on a particular conceptualization of the "human-centered" framework, which tends to cast atomized individuals as the key recipients of technology's benefits and detriments. In this article, we direct attention to another dimension of LLMs and dialogue agents' impact: their effects on social groups, institutions, and accompanying norms and practices. By analyzing ChatGPT's social impact through a social-centered framework, we challenge individualistic approaches in AI development and contribute to ongoing debates around the ethical and responsible deployment of AI systems. We hope this effort will call attention to more comprehensive and longitudinal evaluation tools (e.g., including more ethnographic analyses and participatory approaches) and compel technologists to complement human-centered thinking with social-centered approaches.

研究の動機と目的

• 個人ユーザーを重視するが社会的影響を軽視する人間中心のAI評価枠組みの限界を批判すること。
• ChatGPTの導入が社会的集団、制度、および既存の規範に与える影響を、バイアスや幻覚といった個人レベルの懸念を超えて検討すること。
• システム的かつ長期的な社会的変容を考慮する社会中心のアプローチへの評価パラダイム転換を提唱すること。
• 社会的影響を的確に捉えるために、エトノグラフィー的および参加型の手法をAI評価に統合するよう提言すること。
• 現実の社会的ダイナミクスを反映する包括的な評価ツールの必要性を強調することで、エチカルAIの議論に貢献すること。

提案手法

• 著者らは、個人ユーザーから社会的集団や制度へと焦点を移す社会中心の理論的枠組みを用いて、ChatGPTの影響を分析する。
• 急速な制度的採用や社会的論争といった破壊的出来事の定性的分析を通じて、ChatGPTが社会的規範や実践をどのように変容させるかを追跡する。
• 教育、職業、市民的分野におけるChatGPT発表後の変化を説明するために、既存の文献および現実の事例研究を活用する。
• 文脈的把握に基づく社会的変化の解釈的・批判的分析を重視し、定量的指標よりも優先する。
• 従来の安全性やパフォーマンス評価の補完として、縦断的でエトノグラフィック的かつ参加型の評価手法を提唱する。
• 一般的なLLMの批判（例：幻覚、バイアス）を、孤立した技術的欠陥ではなく、システム的で社会的な現象として再定式化する。

実験結果

リサーチクエスチョン

• RQ1 ChatGPTの導入は、個人ユーザーを越えて、社会的集団や制度にどのように影響を与えるか？
• RQ2 破壊的出来事は、ChatGPTのような大規模言語モデルの社会中心的影響をどのように明らかにするか？
• RQ3 なぜ従来の人間中心の評価指標では、生成AIの広範な社会的含意を十分に捉えられないのか？
• RQ4 社会中心の枠組みは、AIシステムの倫理的かつ責任ある開発をどのように改善できるか？
• RQ5 LLMの長期的社會的影響を評価するには、どのような代替評価手法が必要か？

主な発見

• ChatGPTの影響は個人ユーザーを越えて、教育、労働、市民参加分野における制度的実践を顕著に変容させている。
• 広範な学術的利用や政策的反応といった破壊的出来事は、社会的規範や組織行動におけるシステム的転換を浮き彫りにしている。
• 本論文は、幻覚やバイアスといった問題が単なる技術的欠陥ではなく、より深い社会的・制度的脆弱性を反映していることを示している。
• 従来の人間中心の評価では、知識生成プロセスや意思決定プロセスの変化を含む、集団的で構造的な変容を捉えられていない。
• 著者らは、AIの社会的影響を理解し、統制するためには縦断的でエトノグラフィック的かつ参加型の評価手法が不可欠であると結論づけている。
• 社会的側面の結果を考慮に入れるためにも、社会中心のAI評価への転換が、倫理的かつ責任ある展開を実現するために不可欠である。