[논문 리뷰] Sociotechnical Implications of Generative Artificial Intelligence for Information Access

Bhaskar Mitra, Henriette Cramer외 1명|arXiv (Cornell University)|2024. 05. 19.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

이 논문은 정보 접근 분야에서 생성형 AI의 사회기술적 영향을 분석하며, 결과-기제-위험(CMR) 프레임워크를 활용하여 정보 생태계 파탄, 권력 집중, 편향 강화, 환경 피해와 같은 체계적 위험을 규명한다. 연구는 윤리적 설계, 데이터 노동 권리 옹호, AI 기반 정보 검색 시스템에서 사회적 수요 재중시를 중심으로 평가 및 완화 전략을 제안한다.

ABSTRACT

Robust access to trustworthy information is a critical need for society with implications for knowledge production, public health education, and promoting informed citizenry in democratic societies. Generative AI technologies may enable new ways to access information and improve effectiveness of existing information retrieval systems but we are only starting to understand and grapple with their long-term social implications. In this chapter, we present an overview of some of the systemic consequences and risks of employing generative AI in the context of information access. We also provide recommendations for evaluation and mitigation, and discuss challenges for future research.

연구 동기 및 목표

• 생성형 AI의 정보 접근 분야에서의 체계적 사회기술적 위험을 분석하며, 특히 대규모 언어 모델(LLM)에 중점을 둔다.
• 생성형 AI가 정보 생태계를 어떻게 파괴하고, 지식 생산 및 접근의 불평등을 악화시키는지 규명한다.
• 데이터 노동, 환경 비용, AI 정렬이 윤리적이고 지속 가능한 정보 검색 시스템 형성에 미치는 역할을 분석한다.
• 사회기술적 시스템 사고와 이해관계자 중심 설계에 기반한 실천 가능한 평가 및 완화 전략을 제안한다.
• 현재 AI의 정보 검색(IR) 분야에서의 방향을 도전하며, 사회적 수요를 중심에 두고 정보 접근의 해방적 미래를 상상한다.

제안 방법

• Gausen 등이 제안한 결과-기제-위험(CMR) 프레임워크를 활용하여 사회기술적 영향을 분석하는 데 기반을 둔다.
• 식별된 결과(예: 정보 생태계 파탄)를 기저 기제(예: 콘텐츠 오염, 직접 모델 액세스)와 관련 위험으로 연결한다.
• 정보 검색 맥락에서 LLM의 위험, 즉 편향, 정렬, 데이터 노동, 환경 영향에 관한 기존 문헌을 통합 분석한다.
• 데이터 배당, 공동 행동(예: 데이터 스트라이크), 대체 라이선싱 모델과 같은 데이터 중심의 완화 전략을 제안한다.
• 노조 운동(예: 할리우드 스트라이크)과 기술적 대응 조치(예: NightShade, Glaze, Mist와 같은 데이터 오염 도구)의 통찰을 통합한다.
• Mitra의 이해관계자 수요 계층 구조를 활용하여 IR 연구를 재구성하며, 시스템 설계에서 사회적 복지와 형평성으로의 전환을 주장한다.

실험 결과

연구 질문

• RQ1 생성형 AI 시스템은 정보 생태계를 어떻게 파괴하며, 이러한 파탄의 기반이 되는 기제는 무엇인가?
• RQ2 AI 기반 정보 접근에서 권력 집중, 편향 강화, 환경 악화의 체계적 위험은 무엇인가?
• RQ3 생성형 AI 모델 훈련 과정에서 데이터 노동은 어떻게 윤리적으로 인정받고 보상받을 수 있는가?
• RQ4 공동 행동과 대체 비즈니스 모델은 정보 검색 분야에서 생성형 AI의 해로움을 완화하는 데 어떤 역할을 할 수 있는가?
• RQ5 정보 검색 연구와 시스템 개발은 어떻게 기술적 가능성을 넘어서 사회적 수요 중심으로 재중심화될 수 있는가?

주요 결과

• 생성형 AI는 콘텐츠 오염, 검색 엔진 조작, 지식 전파 과정에서의 '전갈 놀이' 효과 등으로 인해 정보 생태계 파탄과 같은 체계적 위험을 초래한다.
• 계산 능력과 데이터의 방어선을 확보한 대규모 AI 개발 기업의 권력 집중은 AI 설득력 및 정렬 문제를 야기하며, 민주적이고 형평성 있는 정보 접근을 위협한다.
• 소수자 및 소외된 목소리의 무시와 편향 강화는 훈련 데이터 및 모델 개발 과정에서의 표현 부족과 함께 데이터 노동의 착취로 심화된다.
• LLM 훈련 및 배포 과정에서 발생하는 환경 비용, 특히 높은 자원 소모와 폐기물 발생은 지속 가능성과 생태적 형평성에 심각한 장기적 위험을 초래한다.
• 데이터 배당, 데이터 스트라이크, 공동 조직화(예: 할리우드 스트라이크에서 영감을 얻음)와 같은 완화 전략은 데이터 생산자를 강화하고 이해관계자 통제력을 회복하는 데 잠재력을 지닌다.
• IR 연구의 근본적 전환 필요: Mitra의 이해관계자 수요 계층 구조와 같은 프레임워크를 활용해 사회적 수요를 중심에 두며, 정보 접근의 해방적이고 형평성 있는 미래를 상상해야 한다.