[논문 리뷰] Developing Safe and Responsible Large Language Model : Can We Balance Bias Reduction and Language Understanding in Large Language Models?

Shaina Raza, Oluwanifemi Bamgbose외 4명|arXiv (Cornell University)|2024. 04. 01.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 새로운 전문가 주석 기반 안전 위험 분류 체계와 지시 기반, 파rameter 효율적 미세조정(PEFT)을 사용하여 훈련된 안전 중심의 대규모 언어 모델인 SR$_{\text{LLM}}$을 소개한다. 이 모델은 다섯 개인 벤치마크 및 두 개의 기업 전용 데이터셋에서 유해한 출력을 크게 감소시키면서도 강력한 언어 이해 능력을 유지함으로써, 편향 감소와 견고한 언어 생성 간의 균형을 효과적으로 달성할 수 있음을 보여준다.

ABSTRACT

Large Language Models (LLMs) have advanced various Natural Language Processing (NLP) tasks, such as text generation and translation, among others. However, these models often generate texts that can perpetuate biases. Existing approaches to mitigate these biases usually compromise knowledge retention. This study explores whether LLMs can produce safe, unbiased outputs without sacrificing knowledge or comprehension. We introduce the Safe and Responsible Large Language Model ( extbf{SR}$_{ ext{LLM}}$), which has been instruction fine-tuned atop of a safe fine-tuned auto-regressive decoder-only LLM to reduce biases in generated texts. We developed a specialized dataset with examples of unsafe and corresponding safe variations to train extbf{SR}$_{ ext{LLM}}$ to identify and correct biased text. Experiments on our specialized dataset and out-of-distribution test sets reveal that extbf{SR}$_{ ext{LLM}}$ effectively reduces biases while preserving knowledge integrity. This performance surpasses that of traditional fine-tuning of smaller language models and base LLMs that merely reply on prompting techniques. Our findings demonstrate that instruction fine-tuning on custom datasets tailored for tasks such as debiasing is a highly effective strategy for minimizing bias in LLM while preserving their inherent knowledge and capabilities. The code and dataset are accessible at \href{https://github.com/shainarazavi/Safe-Responsible-LLM}{SR-LLM}

연구 동기 및 목표

• 대규모 언어 모델(LLM)에서 인간의 가치와의 불일치로 인한 점점 증가하는 유해하거나 편향되거나 폭력적인 출력의 위험을 해결하기 위해.
• 안전 중심 지시 훈련을 위한 전문가 주석 기반 특화 데이터셋을 구축함으로써 기존 LLM 안전 연구의 격차를 메우기 위해.
• 편향 감소와 강력한 언어 이해 능력을 동시에 확보하는 파rameter 효율적 지시 훈련 LLM을 개발하기 위해.
• 다양한 벤치마크와 실제 기업 전용 데이터셋을 통해 모델의 안전성 성능을 평가하기 위해.
• 데이터, 코드, 투명한 평가 프로토콜을 공개함으로써 책임감 있는 AI 발전을 촉진하기 위해.

제안 방법

• 독립적인 위험 유형으로 나누어지는 유해한 LLM 출력을 체계적으로 분류하기 위해 종합적인 안전 위험 분류 체계를 개발하였다. 이에는 독성, 편향, 부정적 정서, 해로운 내용 등이 포함된다.
• 모델의 행동을 이끌기 위해 유해한 프롬프트와 그에 해당하는 안전하고 유익한 변형을 전문가가 주석 처리한 쌍으로 구성된 새로운 지시 훈련 데이터셋을 구축하였다.
• LoRA와 같은 파rameter 효율적 미세조정(PEFT) 기법을 적용하여 기본 LLM을 최소한의 파라미터 업데이트로 적응시킴으로써 효율성과 확장성을 확보하였다.
• 유해한 출력을 수정할 수 있도록 지시 훈련을 통해 불안정한 예시와 안전한 예시 쌍을 통합하여 모델이 언어 유창성을 유지하면서도 해로운 출력을 방지하도록 훈련시켰다.
• 다섯 개인 공개 벤치마크와 두 개의 기업 전용 데이터셋을 사용한 다단계 평가 파이프라인을 도입하여 안전성 향상과 언어 이해 능력 측정을 수행하였다.
• 해킹 시도나 프롬프트 삽입 공격에 대비한 레드팀 테스트와 악성 프롬프트를 활용해 모델의 견고성을 시험하였다.

실험 결과

연구 질문

• RQ1 안전 중심 지시 훈련 LLM은 언어 이해 능력이 저하되지 않도록 하면서도 편향되거나 독성적이거나 해로운 내용의 생성을 상당히 줄일 수 있는가?
• RQ2 표준 미세조정 방식과 비교했을 때, 전문가가 주석 처리한 유해-안전 프롬프트 쌍의 맞춤형 데이터셋은 LLM의 안전성 향상에 얼마나 효과적인가?
• RQ3 파rameter 효율적 미세조정(PEFT)을 통해 모델 성능을 유지하면서도 안전하고 확장 가능한 LLM 배포를 얼마나 잘 달성할 수 있는가?
• RQ4 SR$_{\text{LLM}}$은 프롬프트 삽입이나 해킹 공격 등의 악성 조건에서 어떻게 성능을 보이는가?
• RQ5 통합된 안전 위험 분류 체계는 다양한 LLM 안전 문제의 체계적인 식별과 완화를 이끌 수 있는가?

주요 결과

• SR$_{\text{LLM}}$은 모든 다섯 개의 공개 벤치마크 및 두 개의 기업 전용 데이터셋에서 안전하지 않은 콘텐츠 생성을 뚜렷이 감소시켜 일관된 안전성 향상을 보였다.
• 특히 성별 및 인종 편향, 독성, 부정적 정서 유형에서 해로운 또는 편향된 프롬프트에 대해 안전하고 유익한 응답을 생성하는 데 있어 뚜렷한 향상이 있었다.
• PEFT를 통해 모델는 강력한 언어 이해 능력을 유지하였으며, 이는 안전성 미세조정이 본질적으로 모델 성능을 저하시키지 않는다는 것을 시사한다.
• 모델는 프롬프트 삽입 및 해킹 공격에 대비한 강력한 내성성을 보였으며, 기준 모델에 비해 향상된 저항력을 지닌 것으로 나타났다.
• 전문가가 주석 처리한 유해-안전 프롬프트 쌍의 데이터셋은 모델이 안전한 응답 생성을 학습하도록 효과적으로 이끌었으며, 정교하게 준비된 안전 데이터의 유용성을 입증하였다.
• 이 데이터셋과 코드의 오픈소스화는 재현 가능성과 책임감 있는 AI 개발 분야의 공동 연구 진전을 가능하게 하였다.