[논문 리뷰] Bias Amplification: Large Language Models as Increasingly Biased Media

Ze Wang, Zekun Wu외 6명|arXiv (Cornell University)|2024. 10. 19.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(LM)에서 편향 증폭에 대한 이론적 프레임워크를 제안하며, 모델 붕괴 없이도 반복적인 피니테이닝을 통해 기존의 정치적 편향(예: GPT-2의 우익 성향)이 점차 증폭될 수 있음을 보여준다. 연구는 편향 증폭과 모델 붕괴를 위한 별개의 신경 기제를 규명하였고, 유지 및 축적 전략이 편향 증폭을 효과적으로 완화함을 발견하였다.

ABSTRACT

Model collapse, a phenomenon characterized by performance degradation due to iterative training on synthetic data, has been widely studied. However, its implications for bias amplification, the progressive intensification of pre-existing societal biases in Large Language Models (LLMs), remain significantly underexplored, despite the growing influence of LLMs in shaping online discourse. In this paper, we introduce a open, generational, and long-context benchmark specifically designed to measure political bias amplification in LLMs, leveraging sentence continuation tasks derived from a comprehensive dataset of U.S. political news. Our empirical study using GPT-2 reveals consistent and substantial political bias intensification (e.g., right-leaning amplification) over iterative synthetic training cycles. We evaluate three mitigation strategies, Overfitting, Preservation, and Accumulation, and demonstrate that bias amplification persists independently of model collapse, even when the latter is effectively controlled. Furthermore, we propose a mechanistic analysis approach that identifies neurons correlated with specific phenomena during inference through regression and statistical tests. This analysis uncovers largely distinct neuron populations driving bias amplification and model collapse, underscoring fundamentally different underlying mechanisms. Finally, we supplement our empirical findings with theoretical intuition that explains the separate origins of these phenomena, guiding targeted strategies for bias mitigation.

연구 동기 및 목표

• 모델 붕괴와는 별개로 LLM에서 편향 증폭에 대한 이론적 및 실증적 이해의 부족을 보완하기 위해.
• 합성 데이터를 사용한 자기소비적 학습 루프 동안 LLM이 정치적 편향을 증폭하는지 조사하기 위해.
• 편향 증폭을 줄이기 위한 과적합, 유지, 축적 전략 등의 효과를 평가하기 위해.
• LLM에서 편향 증폭과 모델 붕괴를 이끄는 뉴런 기제를 식별하고 구분하기 위해.

제안 방법

• 편향 증폭에 필요한 조건과 충분조건을 정의하기 위해 가중 최대우도 추정 기반의 이론적 프레임워크를 제안하며, 모델 붕괴와 독립적으로 분석한다.
• 표본 추출이나 기능 형태 문제 없이 편향 증폭을 시뮬레이션하기 위해 가중 최대우도 추정을 사용한 통계적 시뮬레이션을 수행한다.
• 장문의 텍스트 생성에서 정치 성향을 벤치마크하기 위해 고정확도의 정치적 성향 분류기를 개발하여 개방형 작업에서의 편향 평가를 가능하게 한다.
• 이전 반복에서 생성된 합성 데이터를 기반으로 GPT-2를 반복적으로 피니테이닝하여 우익 성향 증가를 실증적으로 관찰한다.
• 가중치 변화에 대한 회귀 분 析를 통해 뉴런 수준 기여도를 규명하기 위해 새로운 기계적 해석 파이프라인을 적용한다.
• 뉴런 가중치 변화가 편향 이동에 미치는 영향의 유의성을 검증하기 위해 회귀 모델에서 Newey-West 표준오차와 Bonferroni 보정을 사용한다.

실험 결과

연구 질문

• RQ1 LLM에서 편향 증폭에 필요한 조건과 충분조건는 무엇이며, 모델 붕괴와 이론적으로 어떻게 구분할 수 있는가?
• RQ2 합성 데이터에 대한 반복적 피니테이닝이 GPT-2의 정치적 편향을 어느 정도 증폭시키며, 이 편향은 세대에 따라 증가하는가?
• RQ3 과적합, 유지, 축적 전략은 편향 증폭과 모델 붕괴 완화에 얼마나 효과적인가?
• RQ4 편향 증폭과 모델 붕괴를 뒷받침하는 뉴런 기제는 별개이며, 기계적 해석을 통해 식별 가능한가?

주요 결과

• 이론적 분석과 가중 최대우도 추정을 사용한 통계적 시뮬레이션을 통해, 편향 증폭은 모델 붕괴와 독립적으로 발생함을 입증하였다.
• GPT-2는 이전 반복에서 생성된 합성 데이터를 기반으로 반복적인 피니테이닝을 거친 후 문장 이어쓰기 작업에서 점차적으로 좌우익 성향이 우세해지는 경향을 보였다.
• 유지 및 축적 전략은 편향 증폭과 모델 붕괴 양쪽을 효과적으로 완화하는 반면, 과적합 전략은 제한적인 효과를 보였다.
• 기계적 해석을 통해 편향 증폭과 모델 붕괴를 담당하는 뉴런 집합 간의 겹침이 최소한임을 확인하여, 두 현상 간 이론적 차이를 지지하였다.
• 기반 회귀 분석을 통해 정치적 성향 이동과 유의미하게 상관관계가 있는 특정 뉴런을 규명하였으며, Newey-West 표준오차와 Bonferroni 보정을 통해 통계적 유의성을 확인하였다.
• 편향 증폭은 편향된 학습 데이터가 없더라도 발생할 수 있음을 확인하여, 모델의 동역학 자체가 편향 강화를 이끌 수 있음을 시사한다.