[논문 리뷰] Interpreting Bias in Large Language Models: A Feature-Based Approach

Nirmalendu Prakash, L. Roy|arXiv (Cornell University)|2024. 06. 18.

Computational and Text Analysis Methods인용 수 4

한 줄 요약

이 논문은 LLaMA-2-7B, LLaMA-3-8B, 그리고 Mistral-7B-v0.3와 같은 대규모 언어 모델(Large Language Models, LLMs)에서 성별 편향을 분석하고 완화하기 위한 기능 기반 해석 프레임워크를 제안한다. 모델의 각 레이어를 통해 편향 관련 기능의 진화를 가설화하고, 활성도 및 소실 패치링을 통해 검증함으로써 편향 전파에 기여하는 특정 MLP와 어텐션 헤드를 규명하였으며, 반사적 훈련을 통한 타겟화된 편향 제거 방법을 통해 성능 저하 없이 편향 출력을 크게 감소시켰다.

ABSTRACT

Large Language Models (LLMs) such as Mistral and LLaMA have showcased remarkable performance across various natural language processing (NLP) tasks. Despite their success, these models inherit social biases from the diverse datasets on which they are trained. This paper investigates the propagation of biases within LLMs through a novel feature-based analytical approach. Drawing inspiration from causal mediation analysis, we hypothesize the evolution of bias-related features and validate them using interpretability techniques like activation and attribution patching. Our contributions are threefold: (1) We introduce and empirically validate a feature-based method for bias analysis in LLMs, applied to LLaMA-2-7B, LLaMA-3-8B, and Mistral-7B-v0.3 with templates from a professions dataset. (2) We extend our method to another form of gender bias, demonstrating its generalizability. (3) We differentiate the roles of MLPs and attention heads in bias propagation and implement targeted debiasing using a counterfactual dataset. Our findings reveal the complex nature of bias in LLMs and emphasize the necessity for tailored debiasing strategies, offering a deeper understanding of bias mechanisms and pathways for effective mitigation.

연구 동기 및 목표

• 편향의 전파 방식을 해석하기 위한 기능 기반 방법을 개발하여 일반화된 구성 요소 분석을 넘어서는 것.
• 특히 MLP와 어텐션 헤드와 같은 특정 모델 구성 요소가 성별 편향을 생성하거나 복제하는 데 기여하는지 검증하는 것.
• 반사적 데이터셋을 사용해 식별된 구성 요소에만 훈련을 적용함으로써 타겟화된 편향 제거의 효과를 입증하는 것.
• 기존 직업 데이터셋을 초월해 다양한 형태의 성별 편향과 문장 구조에 대해 일반화 가능성을 입증하는 것.
• 대규모 LLM 내 편향의 근원과 경로를 밝혀내는 화이트박스 해석 가능한 프레임워크를 제공하는 것.

제안 방법

• 저자들은 입력에서 출력으로 이르는 과정에서 변화하는 잠재 개념으로서의 추상적 편향 관련 기능(예: '남성', '여성', '아내')을 정의하고, 이를 '기능 맵'으로 구성한다.
• 인과 중재 기반의 가설을 활용해 '여성'과 '아내'와 같은 기능이 '빨래를 씻는 것은 책임이다.'와 같은 입력 프롬프트에서 어떻게 유도되는지 매핑한다.
• 특정 레이어와 구성 요소(예: MLP, 어텐션 헤드)의 기여도를 격리하기 위해 활성도 패치링을 적용한다. 이는 참조 입력의 활성도를 대체함으로써 이루어진다.
• 기여도 패치링을 통해 편향 기능을 복제하거나 증폭시키는 어 temporary 헤드를 식별하며, 로짓 반전을 검증 신호로 사용한다.
• 반사적 훈련을 통해 식별된 구성 요소(예: 특정 MLP와 어텐션 헤드)에만 적용하여 편향을 감소시키면서도 모델 성능을 유지한다.
• 이 방법은 세 가지 최신 기술 기반 LLM인 LLaMA-2-7B, LLaMA-3-8B, 그리고 Mistral-7B-v0.3에서 검증되었으며, 직업 데이터셋의 템플릿을 사용하였다.

Figure 1: Conceptualized feature map in LLMs for prompts: a) "The doctor said that" and b) "Washing the dishes is the duty of the" .

실험 결과

연구 질문

• RQ1 LLM 내에서 성별 편향을 생성하거나 증폭시키는 데 기여하는 특정 모델 구성 요소(MLP 또는 어텐션 헤드)는 무엇인가?
• RQ2 성별 편향 관련 기능인 '아내' 또는 '남성'과 같은 기능은 트랜스포머 기반 LLM의 레이어를 통해 어떻게 진화하는가?
• RQ3 식별된 구성 요소에 반사적 훈련을 통해 타겟화된 편향 제거를 적용할 경우, 성능 저하 없이 편향 출력을 효과적으로 감소시킬 수 있는가?
• RQ4 제안된 기능 기반 방법은 원래의 직업 데이터셋을 초월해 다양한 형태의 성별 편향에 일반화 가능한가?
• RQ5 어떤 정도로 어 temporary 헤드가 편향 기능을 복제하거나 전파하는가? 이는 기여도 패치링을 통해 정량적으로 측정할 수 있는가?

주요 결과

• 기능 맵 분석 결과, '아내' 기능은 주로 '여성' 기능과 문법적 구조의 조합에서 유도되며, 마지막 토큰의 MLP에서 최종 추상화가 이루어진다.
• 레이어 4에서 15까지의 마지막 토큰 MLP 활성도를 패치링함으로써 '아내' 토큰이 상위 10개 출력에 포함되는 것을 확인하여, 이 기능의 핵심적 역할을 입증하였다.
• '빨래를 씻는다' 토큰에서 유래한 복제 어텐션 헤드는 특히 k=100이고 최대 레이어 20까지 영향을 미쳐 편향 전파에 기여하는 것으로 밝혀졌으며, 패치링 시 로짓 반전을 통해 이를 확인하였다.
• 식별된 구성 요소에 반사적 훈련을 적용한 타겟화된 편향 제거 방법은 스테레오타입 맥락에서 '여성'과 '아내'의 확률을 감소시켜 효과적인 완화를 보였다.
• 이 방법은 원래 데이터셋을 초월해 다양한 문장 구조와 성별 편향 형태에 대해 분석 및 편향 감소를 성공적으로 수행함으로써 일반화 가능성을 입증하였다.
• 기계적 해석 가능성에서 일부 헤드가 패치된 헤드의 역할을 대체하는 잠재적 보상 효과를 관찰하였으며, 이는 편향 제거 모델에서의 추가 검증이 필요함을 시사한다.

Figure 3: (a) Fraction of samples where logit is reversed vs MLP layers patched (b) Fraction of samples where logit is reversed vs top K value.