[논문 리뷰] From human-centered to social-centered artificial intelligence: Assessing ChatGPT's impact through disruptive events

Skyler Wang, Ned Cooper외 1명|arXiv (Cornell University)|2023. 05. 31.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

이 논문은 인공지능 평가에서 지배적인 인간 중심 프레임워크에 도전하며, ChatGPT의 영향을 평가하기 위해 사회 중심 접근법을 제안한다. 저자들은 개인 수준의 문제(예: 편향 또는 환각)와 마찬가지로 사회 집단, 제도, 규범에 미치는 영향이 핵심이라고 주장한다. 파급적 사건을 분석함으로써, LLMs가 집단적 관행과 사회 구조를 재편하고 있음을 입증하며, 기술자들이 개인 중심 지표를 넘어서 종단적, 민족학적, 참여형 평가 방법을 채택할 것을 촉구한다.

ABSTRACT

Large language models (LLMs) and dialogue agents represent a significant shift in artificial intelligence (AI) research, particularly with the recent release of the GPT family of models. ChatGPT's generative capabilities and versatility across technical and creative domains led to its widespread adoption, marking a departure from more limited deployments of previous AI systems. While society grapples with the emerging cultural impacts of this new societal-scale technology, critiques of ChatGPT's impact within machine learning research communities have coalesced around its performance or other conventional safety evaluations relating to bias, toxicity, and "hallucination." We argue that these critiques draw heavily on a particular conceptualization of the "human-centered" framework, which tends to cast atomized individuals as the key recipients of technology's benefits and detriments. In this article, we direct attention to another dimension of LLMs and dialogue agents' impact: their effects on social groups, institutions, and accompanying norms and practices. By analyzing ChatGPT's social impact through a social-centered framework, we challenge individualistic approaches in AI development and contribute to ongoing debates around the ethical and responsible deployment of AI systems. We hope this effort will call attention to more comprehensive and longitudinal evaluation tools (e.g., including more ethnographic analyses and participatory approaches) and compel technologists to complement human-centered thinking with social-centered approaches.

연구 동기 및 목표

• 개인 사용자보다 집단적 사회적 영향을 우선시하는 인간 중심 AI 평가 프레임워크의 한계를 비판하는 것.
• ChatGPT의 배포가 개인 수준의 문제(예: 편향 또는 환각)를 넘어서 사회 집단, 제도, 기존 규범에 어떻게 영향을 미치는지 분석하는 것.
• 체계적이고 장기적인 사회 전환을 고려하는 사회 중심 접근법으로 AI 개발 및 평가의 범주 전환을 주장하는 것.
• 민족학적 및 참여적 방법을 AI 평가에 통합하여 더 넓은 사회적 영향을 포착할 것을 촉구하는 것.
• 실제 사회적 역동성을 반영하는 종합적 평가 도구의 필요성을 강조함으로써 윤리적 AI 논의에 기여하는 것.

제안 방법

• 저자들은 개인 사용자에서 사회 집단과 제도로 초점을 옮기며, ChatGPT의 영향을 분석하기 위해 사회 중심 이론적 프레임워크를 활용한다.
• 빠른 제도적 수용이나 사회적 논란과 같은 파급적 사건의 질적 분석을 통해 ChatGPT가 사회 규범과 관행에 어떻게 영향을 미치는지 추적한다.
• ChatGPT 출시 이후 교육, 전문 분야, 시민 분야에서의 변화를 설명하기 위해 기존 문헌과 실제 사례 연구를 활용한다.
• 정량적 지표보다는 맥락적 이해를 우선시하는 해석적·비판적 분석을 강조하며, 사회 변화의 맥락적 이해를 중시한다.
• 기존의 안전성 및 성능 평가의 보완으로 종단적, 민족학적, 참여형 평가 방법의 도입을 주장한다.
• 기본적으로 환각이나 편향과 같은 일반적인 LLM 비판을 고립된 기술적 결함이 아니라 체계적 사회 현상으로 재구성한다.

실험 결과

연구 질문

• RQ1 ChatGPT의 배포는 개인 사용자 외에도 사회 집단과 제도에 어떻게 영향을 미치는가?
• RQ2 파급적 사건은 ChatGPT와 같은 대규모 언어 모델의 사회 중심적 영향을 어떻게 드러내는가?
• RQ3 왜 기존의 인간 중심 평가 지표는 생성형 AI의 광범위한 사회적 함의를 포착하지 못하는가?
• RQ4 어떻게 사회 중심 프레임워크가 AI 시스템의 윤리적이고 책임감 있는 개발을 향상시킬 수 있는가?
• RQ5 LLM의 장기적 사회적 결과를 평가하기 위해 어떤 대체 평가 방법이 필요한가?

주요 결과

• ChatGPT의 영향은 개인 사용자를 넘어서 교육, 일상, 시민 참여 분야의 제도적 관행을 크게 변화시킨다.
• 광범위한 학술적 사용이나 정책 대응과 같은 파급적 사건은 사회 규범과 조직 행동의 체계적 변화를 드러낸다.
• 논문은 환각이나 편향 문제들이 단순한 기술적 결함이 아니라 더 깊이 있는 사회적 및 제도적 취약성을 반영하고 있음을 입증한다.
• 기존의 인간 중심 평가 방법은 지식 생산 및 의사결정 과정의 변화를 포함한 LLM이 이끄는 집단적이고 체계적 전환을 포착하지 못한다.
• 저자들은 종단적, 민족학적, 참여형 평가 방법이 AI의 사회적 영향을 이해하고 통제하기 위해 필수적이라고 결론 내린다.
• 사회 수준의 결과를 고려하여 윤리적이고 책임감 있는 배포를 보장하기 위해 사회 중심 AI 평가로의 전환은 필수적이다.