[논문 리뷰] Gaining Wisdom from Setbacks: Aligning Large Language Models via Mistake Analysis

Kai Chen, Chunwei Wang외 12명|arXiv (Cornell University)|2023. 10. 16.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 인간의 주석이나 외부 모델에 의존하지 않고 대규모 언어 모델(LLM)의 안전성을 향상시키기 위해 자기 비판과 오류 분석을 활용하는 새로운 정렬 프레임워크를 제안한다. LLM이 자신의 유해한 응답을 폭로하고 오류의 이유를 분석하도록 지시함으로써, 오류를 고품질의 훈련 데이터로 전환시키는 방법으로, 표준 SFT 및 RLHF 방법보다 독성 출력을 크게 감소시키면서도 기능성을 유지한다.

ABSTRACT

The rapid development of large language models (LLMs) has not only provided numerous opportunities but also presented significant challenges. This becomes particularly evident when LLMs inadvertently generate harmful or toxic content, either unintentionally or because of intentional inducement. Existing alignment methods usually direct LLMs toward the favorable outcomes by utilizing human-annotated, flawless instruction-response pairs. Conversely, this study proposes a novel alignment technique based on mistake analysis, which deliberately exposes LLMs to erroneous content to learn the reasons for mistakes and how to avoid them. In this case, mistakes are repurposed into valuable data for alignment, effectively helping to avoid the production of erroneous responses. Without external models or human annotations, our method leverages a model's intrinsic ability to discern undesirable mistakes and improves the safety of its generated responses. Experimental results reveal that our method outperforms existing alignment approaches in enhancing model safety while maintaining the overall utility.

연구 동기 및 목표

• 노이즈가 많은 웹 데이터로 훈련된 대규모 언어 모델에서의 해로운 및 유해한 출력이라는 핵심 과제를 해결하기 위해.
• LLM이 독성 패턴에 의해 오염되지 않고도 자신의 오류에서 학습할 수 있는지 조사하기 위해.
• 내재된 오류 분석을 통해 오류 응답을 재사용하여 자기지도 학습 기반의 정렬 프레임워크를 개발하기 위해.
• 최소한의 대표성 있는 오류 데이터를 활용해 모델의 안전성과 악성 지시어 공격에 대한 강건성을 향상시키기 위해.
• 오류 분석이 해로운 생성을 방지하면서도 모델의 기능성을 유지하는 데 '세밀한 마스크' 역할을 할 수 있음을 입증하기 위해.

제안 방법

• 지침 프롬프트에 '해로움, 비도덕적, 불쾌감을 주는' 등의 키워드를 포함시켜, 정렬되지 않은 LLM(예: Alpaca)이 해로운 응답을 생성하도록 유도한다.
• 그 후 모델이 자신의 응답을 분석하도록 지시하여 문제가 되는 이유를 식별하도록 한다—오류 평가 능력을 활용해 오류를 평가하는 모델의 내재된 판단 능력을 활용한다.
• 결과적으로 생성된 오류 분석 데이터와 표준적인 유용하고 해로움이 없는 지침-응답 쌍을 결합하여, 지도 미세조정(SFT)을 통해 모델을 미세조정한다.
• 오류 평가의 품질과 깊이를 향상시키기 위해 '응답이 잠재적으로 해로운 이유를 분석하라'는 가이드된 분석 프롬프트를 사용한다.
• 인간 주석 데이터나 리워드 모델에 의존하지 않고, 오직 모델의 자기 비판 능력에만 의존한다.
• 기존의 해로운 응답과 모델이 생성한 결함 있는 출력 모두에 이 방법을 적용하며, 오차 데이터의 원천, 품질, 양을 평가하기 위한 아블레이션 연구를 수행한다.

Figure 1: Pipeline of alignment with mistake analysis. Different from existing works ( e.g. , SFT and RLHF) that focus on aligning LLMs with “error-free responses”, the proposed method deliberately exposes LLMs to harmful contexts to learn the reasons for mistakes.

실험 결과

연구 질문

• RQ1 대규모 언어 모델은 외부 감독 없이도 자신의 해로운 응답을 효과적으로 식별하고 분석할 수 있는가?
• RQ2 자신의 생성한 오류 분석을 사용할 경우, 표준 SFT나 RLHF에 비해 정렬 성능이 향상되는가?
• RQ3 오류 분석 데이터의 품질과 양은 모델의 안전성과 기능성에 어떤 영향을 미치는가?
• RQ4 제한된 수의 대표성 있는 오류 분석 데이터로도 정렬된 모델이 새로운 악성 지시어 공격에 효과적으로 대응할 수 있는가?
• RQ5 명시적인 힌트가 포함된 가이드된 오류 분석이 무가이드 분석보다 더 나은 정렬 결과를 낳는가?

주요 결과

• 제안된 방법은 유용성 및 해로움이 없는 성능 기준에서 해로운 응답 비율을 72.4%로 달성하여 기준 모델인 Alpaca보다 뚜렷이 뛰어났다.
• 모델 자체의 출력에서 유래한 오류 분석 데이터를 사용할 경우 해로움이 없는 점수는 7.41로 상승하였고, 원본 데이터셋의 오류를 사용할 경우 7.04에 그쳤다.
• 가이드된 오류 분석(명시적 프롬프트 포함)은 72.4%의 해로움이 없는 비율을 기록한 반면, 무가이드 분석은 63.3%에 머물러, 체계적인 비판의 중요성을 입증했다.
• 원본 오류와 모델 유도 오류를 모두 조합하여 오류 분석 데이터의 양을 두 배로 늘였더니 성능이 저하되어 해로움이 없는 비율이 71.2%로 떨어졌다—이는 상충되는 분석이 정렬을 악화시킬 수 있음을 시사한다.
• 소수의 대표성 있는 오류 분석 데이터만으로도 정렬된 모델이 새로운 지시어 공격에 효과적으로 대응하는 데 성공하여, 뛰어난 일반화 능력을 입증했다.
• 독성 생성을 줄이면서도 높은 응답 품질과 기능성을 유지하는 데서 SFT 및 RLHF 기준 모델보다 뛰어난 성능을 달성했다.

Figure 4: Prompt templates for the proposed method based on mistake analysis.