[논문 리뷰] CMD: a framework for Context-aware Model self-Detoxification

Zecheng Tang, Keyan Zhou외 6명|arXiv (Cornell University)|2023. 08. 16.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 Detox-Chain라고 불리는 단계별 프로세스를 통해 대규모 언어 모델(LLM)의 자가 정화를 위한 맥락 인식 프레임워크인 CMD를 제안한다. 독성 감지, 독성 스파이크 마스킹, 비독성 프롬프트로 재작성이라는 순서 있는 하위 단계로 구성된 독성 제거 과정을 통해 LLM이 일관성이나 의미적 품질을 훼손하지 않으면서도 안전하게 생성을 수행할 수 있도록 한다. 이 방법은 1B–33B 규모의 여섯 개의 LLM에서 독성 제거 및 생성 품질 향상에 있어 뚜렷한 개선을 이룩한다.

ABSTRACT

Text detoxification aims to minimize the risk of language models producing toxic content. Existing detoxification methods of directly constraining the model output or further training the model on the non-toxic corpus fail to achieve a decent balance between detoxification effectiveness and generation quality. This issue stems from the neglect of constrain imposed by the context since language models are designed to generate output that closely matches the context while detoxification methods endeavor to ensure the safety of the output even if it semantically deviates from the context. In view of this, we introduce a Context-aware Model self-Detoxification~(CMD) framework that pays attention to both the context and the detoxification process, i.e., first detoxifying the context and then making the language model generate along the safe context. Specifically, CMD framework involves two phases: utilizing language models to synthesize data and applying these data for training. We also introduce a toxic contrastive loss that encourages the model generation away from the negative toxic samples. Experiments on various LLMs have verified the effectiveness of our MSD framework, which can yield the best performance compared to baselines.

연구 동기 및 목표

• 자기연쇄적 LLM에서 독성 프롬프트 생성과 독성 제거 간의 갈등을 해결한다.
• 단일 단계 독성 제거 방법으로 인한 생성 품질 저하 문제를 해결한다.
• 효과적인 독성 완화를 가능하게 하면서도 강력한 추론 및 생성 능력을 유지한다.
• LLM이 입력을 독성 제거한 후 생성하도록 이끄는 체계적이고 다단계 프로세스를 개발한다.
• 독성 입력 조건에서도 안전하고 일관되며 의미적으로 일관된 생성을 가능하게 한다.

제안 방법

• 독성 제거 과정을 세 가지 순서 있는 하위 단계로 분해한다: 독성 콘텐츠 감지, 독성 스팬 마스킹, 비독성 대체문장으로의 재작성.
• 이러한 하위 단계를 논리적이고 단계적으로 순서 있게 처리하는 Detox-Chain를 도입한다. 이는 사고의 흐름(CoT)에 영향을 받은 프레임워크이다.
• 독성 감지, 스팬 복구, 지속적 생성을 결합한 다중 작업 데이터셋을 통해 LLM을 미세조정하여 독성 제거 능력을 향상시킨다.
• 파라미터 효율적인 미세조정을 위해 S-adapter를 활용하여 다양한 LLM 아키텍처(GPT-2, LLaMA, Flan-T5 등)에 적응할 수 있도록 한다.
• 훈련 데이터 및 체인 생성을 위해 오픈소스 모델 또는 상용 API를 활용하여 확장성과 접근성을 확보한다.
• 다시 작성된 프롬프트가 일관된 계속 생성을 지원할 수 있도록 충분한 맥락을 유지한다.

(a) Semantic similarity proportion

실험 결과

연구 질문

• RQ1 단계별 독성 제거 프로세스는 LLM에서 독성 프롬프트 생성과 안전 강화 간의 갈등을 줄일 수 있는가?
• RQ2 독성 제거를 하위 단계로 분해하는 방식은 단일 단계 방법 대비 생성 품질에 어떤 영향을 미치는가?
• RQ3 LLM이 일관성 있고 맥락 인식적으로 독성 콘텐츠를 감지하고 마스킹하며 재작성할 수 있는 정도는 어느 정도인가?
• RQ4 입력 독성 제거 후에도 Detox-Chain 프레임워크가 의미 일관성과 대화 일관성을 유지하는가?
• RQ5 제안된 방법은 다양한 LLM 아키텍처와 모델 크기(1B에서 33B)에 대해 일반화되어 있으며 성능 저하 없이 적용 가능한가?

주요 결과

• CMD는 여섯 개의 LLM(1B–33B)에서 생성 과정에서의 독성을 크게 감소시키면서도 의미 일관성과 대화 일관성을 유지한다.
• 자동 평가 및 인간 평가 결과, Detox-Chain로 훈련된 모델가 기존 단일 단계 독성 제거 방법보다 독성 감소 및 생성 품질 측면에서 뛰어난 성능을 보였다.
• Detox-Chain 프레임워크는 초기에 독성 입력을 처리하는 상황에서도 모델이 강력한 추론 및 생성 능력을 유지할 수 있도록 한다.
• 독성 감지, 스팬 복구, 생성을 포함한 다중 작업 훈련 설정으로 미세조정된 모델은 안전성 및 유창성 지표에서 모두 향상된 성능을 보였다.
• 의미 유사도(SIM)는 증가하고 퍼플렉서티(PPL)는 감소하여 입력과 출력 간의 일치도 향상됨을 나타내며, 측정 가능한 개선이 이루어졌다.
• 이 프레임워크는 GPT-2-XL, LLaMA, Alpaca, Flan-T5 등 다양한 아키텍처에서 효과적이며 광범위한 적용 가능성을 입증했다.

(b) Toxicity of LLMs (SIM)