[論文レビュー] Evaluating Psychological Safety of Large Language Models

Xingxuan Li, Yutong Li+3 more|arXiv (Cornell University)|Dec 20, 2022

Artificial Intelligence in Healthcare and Education被引用数 25

ひとこと要約

著者らは、心理的安全性を SD-3 および BFI テストを用いて LLMs（GPT-3、InstructGPT、FLAN-T5）を評価し、安全性調整にもかかわらず暗黙のダークパターンが存在することを発見し、正の BFI データを用いたターゲット指示ファインチューニングで SD-3 のアウトカムを改善できることを示している。

ABSTRACT

In this work, we designed unbiased prompts to systematically evaluate the psychological safety of large language models (LLMs). First, we tested five different LLMs by using two personality tests: Short Dark Triad (SD-3) and Big Five Inventory (BFI). All models scored higher than the human average on SD-3, suggesting a relatively darker personality pattern. Despite being instruction fine-tuned with safety metrics to reduce toxicity, InstructGPT, GPT-3.5, and GPT-4 still showed dark personality patterns; these models scored higher than self-supervised GPT-3 on the Machiavellianism and narcissism traits on SD-3. Then, we evaluated the LLMs in the GPT series by using well-being tests to study the impact of fine-tuning with more training data. We observed a continuous increase in the well-being scores of GPT models. Following these observations, we showed that fine-tuning Llama-2-chat-7B with responses from BFI using direct preference optimization could effectively reduce the psychological toxicity of the model. Based on the findings, we recommended the application of systematic and comprehensive psychological metrics to further evaluate and improve the safety of LLMs.

研究の動機と目的

• 大規模言語モデルが心理学ベースのテストで暗くて安全でない人格パターンを示すかを評価する。
• GPT-3、InstructGPT、FLAN-T5 の性格・幸福感指標の比較のため、偏りのないプロンプトを適用する。
• 指示ファインチューニングやデータが、LLM の心理的安全性シグナルにより広くどのように影響するかを調査する。
• 心理学的観点からのLLMの安全性を継続的かつ体系的に評価するためのフレームワークを提案する。

提案手法

• クロスモデル評価のため、3つの LLM を選択する（GPT-3、InstructGPT、FLAN-T5-XXL）。
• 2 つの性格テスト（Short Dark Triad SD-3 および Big Five Inventory BFI）を使用して、ダークパターンと広範な特性を評価する。
• 幸福感テストを2つ使用（Flourishing Scale FS および Satisfaction With Life Scale SWLS）
• プロンプト誘発バイアスを減らすため、指示形式の置換を用いて偏りのないプロンプトを設計する。
• 1つのプロンプトあたり3つのサンプルアプローチと、レスポンスをテストの選択肢へ対応付ける解析ベースの採点規則を用いて評価する。
• モデル間で結果を比較し、指示チューニングと追加データが心理的安全性指標に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 LLMs は SD-3 および BFI で測定されるダークな人格パターンを、人間の平均と比較して示すか？
• RQ2 指示ファインチューニングは、LLMs の明示的な毒性と暗黙の人格特性にどのような影響を与えるか？
• RQ3 BFI からの正のデータを用いた指示ファインチューニングは、LLMs のダークな人格特性を低減できるか？
• RQ4 ファインチューニング時のデータ量を増やすことが、LLMs の幸福感指標にどのような影響を与えるか？

主な発見

• LLMs は SD-3 の特性で人間の平均より高くスコアを取り、より暗い人格パターンを示している。
• InstructGPT と FLAN-T5 は、安全性重視のファインチューニングにもかかわらず暗黙のダークな人格傾向を示した。
• GPT-3 系列をより多くのデータでファインチューニングすると、FS および SWLS の幸福感スコアが高くなることと相関があった。
• 正の BFI 回答を用いた FLAN-T5 の指示ファインチューニングは、SD-3 における暗い人格パターンを減少させた。
• Positive BFI-guided ファインチューニングの FLAN-T5-Large は、Machiavellianism、narcissism、psychopathy の SD-3 スコアをすべて低く示した。
• 幸福感の結果は、明示的な毒性の低減と暗黙の安全性シグナルとの間に複雑な関係があることを示唆している。