[논문 리뷰] FFT: Towards Harmlessness Evaluation and Analysis for LLMs with Factuality, Fairness, Toxicity

Shiyao Cui, Zhenyu Zhang외 5명|arXiv (Cornell University)|2023. 11. 30.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 사실성, 공정성, 독성 측면에서 대규모 언어 모델(Large Language Models, LLMs)의 무해성 수준을 평가하기 위해 2,116개의 철저히 설계된 인스턴스를 포함한 새로운 벤치마크인 FFT를 소개한다. 이는 유해성, 편향, 독성 경향을 드러내기 위해 악성, 다양한, 잠금 해제 방지 기능을 갖춘 프롬프트를 사용하며, 심지어 강화학습을 통한 보정(RLHF)으로 보정된 최신 기술의 모델들조차도 무해성 측면에서 상당한 한계를 보이고 있음을 드러내며, 스케일링이 반드시 안전성을 향상시키는 것은 아님을 시사한다.

ABSTRACT

The widespread of generative artificial intelligence has heightened concerns about the potential harms posed by AI-generated texts, primarily stemming from factoid, unfair, and toxic content. Previous researchers have invested much effort in assessing the harmlessness of generative language models. However, existing benchmarks are struggling in the era of large language models (LLMs), due to the stronger language generation and instruction following capabilities, as well as wider applications. In this paper, we propose FFT, a new benchmark with 2116 elaborated-designed instances, for LLM harmlessness evaluation with factuality, fairness, and toxicity. To investigate the potential harms of LLMs, we evaluate 9 representative LLMs covering various parameter scales, training stages, and creators. Experiments show that the harmlessness of LLMs is still under-satisfactory, and extensive analysis derives some insightful findings that could inspire future research for harmless LLM research.

연구 동기 및 목표

• 기존 벤치마크의 데이터 중복, 범위가 좁은 시나리오, 비효율적인 독성 프롬프트 문제로 인한 LLM 무해성 평가의 한계를 해결하기 위해.
• 실제 세계의 위험 요소를 반영한 종합적이고 고해상도의 벤치마크를 개발하기 위해.
• 모델 스케일, 훈련 단계, RLHF 보정이 사실성, 공정성, 독성에 미치는 영향을 조사하기 위해.
• 표준 평가 프로토콜을 넘어서 숨겨진 편향과 안전하지 않은 행동을 드러내기 위해.

제안 방법

• 사실성(의도적인 오해 정보 및 반사적 가정을 포함한 악성 질문), 공정성(정체성, 신용, 범죄, 건강 관련 다양한 실제 시나리오), 독성(유해한 응답을 이끌어내기 위한 잠금 해제 프롬프트)의 세 가지 차원에서 총 2,116개의 인스턴스를 설계한다.
• 의도적인 오해 정보와 반사적 가정을 활용해 사실성 인스턴스를 구성하여 LLM의 잘못된 전제를 거부하는 능력을 시험한다.
• 민감한 인구 통계 및 사회적 스테레오타입을 포함한 비표준적인 NLP 작업을 통해 공정성 평가를 수행한다.
• 잠금 해제 스타일의 프롬프트를 사용해 안전 필터를 우회하고, 모델이 약간의 강요 조건 하에서도 여전히 독성 콘텐츠를 생성하는지 평가한다.
• 모델 응답을 사실성, 공정성, 독성의 세 가지 무해성 차원에서 평가하기 위해 인간 평가와 자동화된 메트릭을 적용한다.
• 아키텍처, 파라미터 스케일, 훈련 단계가 다른 9종의 대표적 LLM을 비교 분석하며, RLHF로 보정된 모델을 포함한다.

실험 결과

연구 질문

• RQ1 RQ1: LLM은 악성 오해 기반 프롬프트에 직면했을 때 사실성 평가에서 어떻게 성능을 보일까?
• RQ2 RQ2: 실제 생활 시나리오에서의 공정성 평가를 통해 다양한 인구 집단에 걸쳐 LLM의 편향이 어떻게 드러나나?
• RQ3 RQ3: 모델 스케일링이 무해성에 미치는 영향은 무엇인가? 특히 유용성과 안전성의 균형을 고려할 때 어떻게 영향을 미치는가?
• RQ4 RQ4: RLHF로 보정된 모델은 독성, 편향, 사실 틀린 정보를 거부하는 데 얼마나 향상되었는가?

주요 결과

• 고도로 훈련된 모델임에도 불구하고 LLM은 여전히 심각한 무해성 문제를 보이며, 많은 모델이 사실 틀린 질문이나 편향된 질문을 거부하지 못함을 확인했다.
• RLHF로 보정된 모델는 오해 정보나 독성 프롬프트에 대해 불확실성 표현이나 거부를 더 잘 수행함으로써, 정렬 기법의 효과성을 보여주었다.
• 더 큰 모델이라도 반드시 무해성이 향상되는 것은 아니며, 특정 조건 하에서는 유용성과 안전성의 상충 관계가 악영향을 미칠 수 있음을 확인했다.
• 기존의 표준 프롬프트로는 독성 평가가 실패하는데, 현대 LLM의 높은 거부율로 인해 의미 있는 응답을 이끌어내기 어려워졌고, 이에 따라 의미 있는 반응을 유도하기 위해 잠금 해제 스타일의 프롬프트가 필요하다.
• 벤치마크는 LLM이 유해한 스테레오타입을 강화하는 콘텐츠를 생성하는 경향이 있음을 드러내며, 이는 깊이 뿌리내린 편향을 암시한다.
• 평가 결과 현재의 벤치마크는 특히 맥락에 따라 달라지는 복잡한 위험 요소를 충분히 반영하지 못하고 있음을 확인했다.