[논문 리뷰] AI and the Problem of Knowledge Collapse

A. Townsend Peterson|arXiv (Cornell University)|2024. 04. 04.

Big Data and Business Intelligence인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)에 대한 과도한 의존으로 인해 중심적이고 공통적인 응답을 선호하는 AI 매개 이해로의 사회적 전환을 암시하는 '지식 붕괴' 개념을 제시한다. 시뮬레이션 모델을 통해 AI 생성 콘텐츠에 20%의 비용 할인이 적용될 경우, 전체 스펙트럼의 지식에 의존할 때보다 공공의 신념이 진리에서 2.3배 더 멀어질 수 있음을 보여주며, 이는 혁신과 문화적 풍요에 위험을 초래한다.

ABSTRACT

While artificial intelligence has the potential to process vast amounts of data, generate new insights, and unlock greater productivity, its widespread adoption may entail unforeseen consequences. We identify conditions under which AI, by reducing the cost of access to certain modes of knowledge, can paradoxically harm public understanding. While large language models are trained on vast amounts of diverse data, they naturally generate output towards the 'center' of the distribution. This is generally useful, but widespread reliance on recursive AI systems could lead to a process we define as "knowledge collapse", and argue this could harm innovation and the richness of human understanding and culture. However, unlike AI models that cannot choose what data they are trained on, humans may strategically seek out diverse forms of knowledge if they perceive them to be worthwhile. To investigate this, we provide a simple model in which a community of learners or innovators choose to use traditional methods or to rely on a discounted AI-assisted process and identify conditions under which knowledge collapse occurs. In our default model, a 20% discount on AI-generated content generates public beliefs 2.3 times further from the truth than when there is no discount. An empirical approach to measuring the distribution of LLM outputs is provided in theoretical terms and illustrated through a specific example comparing the diversity of outputs across different models and prompting styles. Finally, based on the results, we consider further research directions to counteract such outcomes.

연구 동기 및 목표

• AI 보조 지식 접근의 광범위한 도입이 지식 출처의 다양성을 줄임으로써 오히려 공공의 이해를 감소시킬 수 있는지 조사하기 위해.
• 개인 또는 공동체가 AI의 비용 할인에 비해 전략적으로 다양한 지식 출처를 찾을 조건을 모델링하기 위해.
• 특히 장기 꼬리 지식을 중심으로, 다양한 모델과 프롬프팅 전략에 따라 LLM 출력의 다양성을 실증적으로 측정하기 위해.
• 정보의 반복적 AI 매개화로 인해 교육, 혁신, 문화 유산 보존 분야에서 지식 붕괴의 체계적 위험을 규명하기 위해.
• 개선된 AI 설계, 투명성, 다양한 지식 출처 확보를 위한 사용자 인cent라이브를 통해 지식 붕괴를 완화할 수 있는 연구 방향을 제안하기 위해.

제안 방법

• 비용 할인이 적용되는 AI 보조 콘텐츠 사용과 전체 스펙트럼의 다양한 지식 출처 투자 간의 선택을 고려하는 긍정적 지식 외부효과 모델을 개발한다.
• 공동체 내 신념 형성 과정을 모델링하기 위해 시뮬레이션 프레임워크를 사용하며, AI 비용 할인이 공공 신념이 진리 분포에서 얼마나 떨어져 있는지 추적한다.
• 이론적 프레임워크를 활용해 프롬프트별 명시된 실체(예: 철학자, 사상파열)의 빈도 분포를 사용하여 LLM 출력의 다양성을 정의하고 측정한다.
• 간단한 질문과 다각적 응답을 요청하는 구조화된 요청을 비교하여, 다양한 모델(GPT-3.5-turbo, Claude-3-sonnet, Gemini-Pro, Llama2-70b)의 LLM 출력을 분석한다.
• 응답 농도를 600개의 가장 빈도 높은 실체로 잘라내어, 다양한 모델과 프롬프트 간의 응답 집중도를 시각화하고 비교한다.
• 2,693개의 철학적 실체 데이터를 활용해, 프롬프팅 스타일이 장기 꼬리 지식의 표현에 어떤 영향을 미치는지 평가한다.

실험 결과

연구 질문

• RQ1 AI 매개 지식 접근이 공공의 신념이 진리 분포에서 체계적으로 벗어나게 되는 조건은 무엇인가?
• RQ2 AI 생성 콘텐츠에 대한 비용 할인이 개인 및 공동체가 접근하는 지식의 다양성과 대표성에 어떤 영향을 미치는가?
• RQ3 AI의 효율성 우위에 비해 인간의 전략적 행동(예: 비-AI 자료 탐색)이 지식 붕괴를 방지하는 데 얼마나 기여할 수 있는가?
• RQ4 다양한 프롬프팅 전략이 장기 꼬리 지식을 포함해 LLM 출력의 다양성에 어떤 영향을 미치는가?
• RQ5 지식 붕괴가 혁신, 문화 보존, 다양한 세계관에 대한 공정한 접근에 어떤 영향을 미치는가?

주요 결과

• AI 생성 콘텐츠에 20%의 비용 할인이 적용될 경우, 비용 할인이 없는 경우에 비해 공공의 신념이 진리에서 2.3배 더 멀어진다.
• LLMs는 체계적으로 중심적이고 빈도가 높은 응답을 선호하여 주류 시각에 집중되고 장기 꼬리 지식은 간과된다.
• 다양한 응답을 명시적으로 요청하는 프롬프팅 전략(예: 특정 지역의 20명의 철학자 나열)은 부족한 실체의 표현을 크게 증가시켜 몇몇 이름의 지배를 줄인다.
• GPT-3.5-turbo와 Claude-3-sonnet와 같은 고성능 모델이라도 기본 출력 분포는 여전히 매우 편향되어 있으며, 아리스토텔레스, 칸트 등 몇몇 실체가 빈도 수치에서 지배적이다.
• 요르وبا 철학, 하우사 철학, 아비센나와 같은 덜 일반적인 실체의 언급 빈도는 모든 모델에서 낮게 유지되어 AI 출력 내 지속적인 소외가 있음을 시사한다.
• 명시적으로 다양성을 장려하는 프롬프트(예: 프롬프트 v5)를 사용할 경우, 어떤 실체도 지배하지 않으며, 이는 의도적인 프롬프팅 설계로 출력 다양성을 크게 향상시킬 수 있음을 보여준다.