[논문 리뷰] The Capacity for Moral Self-Correction in Large Language Models

Deep Ganguli, Amanda Askell외 47명|arXiv (Cornell University)|2023. 02. 15.

Topic Modeling인용 수 48

한 줄 요약

논문은 RLHF로 훈련된 대형 언어 모델이 자연어 지시를 통해 해로운 출력 생성을 피하도록 조정될 수 있으며, 22B 매개변수 이상에서 더 강한 효과와 충분한 RLHF 미세조정이 있을 때 더 강력하다는 것을 보여준다.

ABSTRACT

We test the hypothesis that language models trained with reinforcement learning from human feedback (RLHF) have the capability to "morally self-correct" -- to avoid producing harmful outputs -- if instructed to do so. We find strong evidence in support of this hypothesis across three different experiments, each of which reveal different facets of moral self-correction. We find that the capability for moral self-correction emerges at 22B model parameters, and typically improves with increasing model size and RLHF training. We believe that at this level of scale, language models obtain two capabilities that they can use for moral self-correction: (1) they can follow instructions and (2) they can learn complex normative concepts of harm like stereotyping, bias, and discrimination. As such, they can follow instructions to avoid certain kinds of morally harmful outputs. We believe our results are cause for cautious optimism regarding the ability to train language models to abide by ethical principles.

연구 동기 및 목표

• RLHF로 훈련된 대형 언어 모델이 해를 끼치지 않도록 지시받으면 도덕적으로 자기수정할 수 있는지 모티베이션을 제시한다.
• 모델 크기와 RLHF 훈련 양이 편향 고정관념 및 차별적 출력에 대한 감수성에 어떤 영향을 미치는지 조사한다.
• 일관된 벤치마크 전반에서 자연어 프롬프트가 모델을 더 공정한 쪽으로 이끌 수 있는지 평가한다.

제안 방법

• RLHF로 미세조정된 디코더-전용 트랜스포머 모델을 810M에서 175B 매개변수까지 크기로 연구한다.
• BBQ(편향), Winogender(성별 대명사 편향), 법대 입학을 기반으로 한 차별 벤치마크의 세 가지 실험을 평가한다.
• 세 가지 프롬프트 개입 적용: Q(기본 질문), Q+IF(지시 따르기), Q+IF+CoT(사고의 흐름 변형).
• 훈련 단계(RLHF 훈련 단계: 50에서 1000까지)를 사용하여 훈련 양의 영향을 분석한다.
• 모델 크기와 RLHF 단계가 바람직성에 미치는 영향을 편향, 실제 통계와의 상관성, 인구통계학적 형평성에 대해 분석한다.

Figure 1: Metrics for stereotype bias or discrimination (y-axes) vary with model size (x-axis) and experimental conditions (colors) for three experiments (panels, details in § 3 ). (Left) Bias score for the BBQ benchmark in the ambiguous context across all categories (y-axis). As models become large

실험 결과

연구 질문

• RQ1 RLHF로 훈련된 대형 언어 모델이 지시를 받으면 해를 끼치지 않는 출력물을 피할 수 있는가?
• RQ2 모델 크기와 RLHF 훈련 양이 고정관념 편향과 차별을 줄이는 능력에 어떤 영향을 미치는가?
• RQ3 자연어 지시 및 CoT 프롬퓨팅이 다양한 공정성 벤치마크에서 도덕적 자기수정을 가능하게 하는가?
• RQ4 편향 관련 작업에서 모델 출력과 실제 세계 인구통계학적 통계 간의 관계는 어떠한가?

주요 결과

• 도덕적 자기수정 능력은 약 22B 매개변수에서 나타나며 더 큰 규모와 더 많은 RLHF 훈련으로 향상된다.
• 지시 따르기(Q+IF)와 사고의 흐름 프롬프트(Q+IF+CoT)는 특히 더 큰 모델 크기와 더 많은 RLHF 단계에서 BBQ의 편향을 크게 줄인다.
• RLHF 훈련은 일반적으로 벤치마크 전반에서 편향을 줄이며, BBQ 실험에서 Q+IF 조건에서 가장 큰 감소가 나타난다.
• Winogender에서 더 큰 모델은 프롬퓨팅이 있을 경우 대명사 선택을 중립적이거나 통계에 일치하는 방향으로 이끈다.
• 차별 벤치마크에서 인구통계적 형평성은 특정 모델 크기와 RLHF 단계의 조합에서 인종을 근거로 하지 않도록 지시될 때 달성될 수 있으나, 그렇지 않으면 형평성은 보장되지 않는다.
• 실험 전반에 걸쳐 더 큰 모델과 RLHF 단계를 가진 경우 맥락과 프롬퓨팅에 따라 차별이 감소하거나 증가할 수 있다.

Figure 2: Influence of RLHF training (x-axes) for metrics for metrics for stereotype bias or discrimination (y-axes) for the 175B parameter model. (Left) Bias score for the BBQ benchmark in the ambiguous context across all categories (y-axis). Increasing the amount of RLHF steps decreases bias acros