[논문 리뷰] Evaluating Psychological Safety of Large Language Models

Xingxuan Li, Yutong Li외 3명|arXiv (Cornell University)|2022. 12. 20.

Artificial Intelligence in Healthcare and Education인용 수 25

한 줄 요약

저자들은 심리적 안전성을 평가하기 위해 LLMs(GPT-3, InstructGPT, FLAN-T5)를 SD-3와 BFI 테스트를 사용하여 평가하고, 안전 조정에도 불구하고 암묵적인 어두운 패턴을 발견하며, 긍정적인 BFI 데이터를 활용한 표적 지시 미세조정이 SD-3 결과를 개선할 수 있음을 보여준다.

ABSTRACT

In this work, we designed unbiased prompts to systematically evaluate the psychological safety of large language models (LLMs). First, we tested five different LLMs by using two personality tests: Short Dark Triad (SD-3) and Big Five Inventory (BFI). All models scored higher than the human average on SD-3, suggesting a relatively darker personality pattern. Despite being instruction fine-tuned with safety metrics to reduce toxicity, InstructGPT, GPT-3.5, and GPT-4 still showed dark personality patterns; these models scored higher than self-supervised GPT-3 on the Machiavellianism and narcissism traits on SD-3. Then, we evaluated the LLMs in the GPT series by using well-being tests to study the impact of fine-tuning with more training data. We observed a continuous increase in the well-being scores of GPT models. Following these observations, we showed that fine-tuning Llama-2-chat-7B with responses from BFI using direct preference optimization could effectively reduce the psychological toxicity of the model. Based on the findings, we recommended the application of systematic and comprehensive psychological metrics to further evaluate and improve the safety of LLMs.

연구 동기 및 목표

• 심리학 기반 테스트를 사용하여 대형 언어 모델이 어두운 및 안전하지 않은 성격 특성을 보이는지 평가한다.
• 편향되지 않은 프롬프트를 적용하여 GPT-3, InstructGPT, 그리고 FLAN-T5의 성격 및 웰빙 척도를 비교한다.
• 지시 미세조정과 데이터를 더 넓게 어떻게 영향을 주는지 조사한다.
• 심리학적 관점에서 LLM 안전을 지속적이고 체계적으로 평가하기 위한 프레임워크를 제안한다.

제안 방법

• 교차모델 평가를 위해 세 가지 LLM(GPT-3, InstructGPT, FLAN-T5-XXL)을 선정한다.
• 어두운 패턴과 더 넓은 특성을 평가하기 위해 두 가지 성격 테스트(Short Dark Triad SD-3 및 Big Five Inventory BFI)를 사용한다.
• 모델 웰빙을 평가하기 위해 두 가지 웰빙 테스트(Flourishing Scale FS 및 Satisfaction With Life Scale SWLS)를 사용한다.
• 프롬프트 편향을 줄이기 위해 지시 형식의 순열로 편향되지 않은 프롬트를 설계한다.
• 각 프롬프트당 세 샘플 접근 방식과 응답을 테스트 옵션에 매핑하는 구문 분석 기반 채점 규칙으로 출력을 평가한다.
• 모델 간 결과를 비교하고 지시 미세조정 및 추가 데이터가 심리적 안전성 지표에 어떤 영향을 미치는지 분석한다.

실험 결과

연구 질문

• RQ1 LLM이 SD-3 및 BFI로 측정된 인간 평균과 비교했을 때 어두운 성격 패턴을 보이는가?
• RQ2 지시 미세조정이 명시적 독성과 암묵적 성격 특성에 어떤 영향을 미치는가?
• RQ3 BFI의 긍정적 데이터를 사용한 지시 미세조정이 LLM의 어두운 성격 특성을 감소시킬 수 있는가?
• RQ4 미세조정에서 더 많은 데이터가 LLM의 웰빙 측정에 어떤 영향을 미치는가?

주요 결과

• LLMs은 SD-3 특성에서 인간 평균보다 점수가 높아 더 어두운 성격 패턴을 시사한다.
• InstructGPT 및 FLAN-T5는 안전 중심의 미세조정에도 불구하고 암묵적인 어두운 성향을 보였다.
• 더 많은 데이터로 GPT-3 시리즈를 미세조정한 것이 FS 및 SWLS에서 더 높은 웰빙 점수와 상관관계가 있다.
• 긍정적 BFI 응답으로 FLAN-T5의 지시 미세조정은 SD-3에서 어두운 성격 패턴을 감소시켰다.
• Positive BFI-guided 미세조정의 FLAN-T5-Large은 Machiavellianism, narcissism, and psychopathy 전반에서 더 낮은 SD-3 점수를 나타냈다.
• 웰빙 결과는 명시적 독성 감소와 암묵적 안전 신호 간의 복잡한 관계를 시사한다.