[論文レビュー] Developing Safe and Responsible Large Language Model : Can We Balance Bias Reduction and Language Understanding in Large Language Models?

Shaina Raza, Oluwanifemi Bamgbose+4 more|arXiv (Cornell University)|Apr 1, 2024

Topic Modeling被引用数 4

ひとこと要約

本稿では、独自の専門家がアノテートした安全リスク分類体系と、指示ベースのパラメータ効率的微調整（PEFT）を用いて微調整された、安全を重視した大規模言語モデルであるSR$_{\text{LLM}}$を紹介する。このモデルは、5つのベンチマークおよび2つの独自データセットにおいて、有害な出力を顕著に低減するとともに、強力な言語理解能力を維持しており、バイアス低減と頑健な言語生成の両立が有効に実現可能であることを示している。

ABSTRACT

Large Language Models (LLMs) have advanced various Natural Language Processing (NLP) tasks, such as text generation and translation, among others. However, these models often generate texts that can perpetuate biases. Existing approaches to mitigate these biases usually compromise knowledge retention. This study explores whether LLMs can produce safe, unbiased outputs without sacrificing knowledge or comprehension. We introduce the Safe and Responsible Large Language Model ( extbf{SR}$_{ ext{LLM}}$), which has been instruction fine-tuned atop of a safe fine-tuned auto-regressive decoder-only LLM to reduce biases in generated texts. We developed a specialized dataset with examples of unsafe and corresponding safe variations to train extbf{SR}$_{ ext{LLM}}$ to identify and correct biased text. Experiments on our specialized dataset and out-of-distribution test sets reveal that extbf{SR}$_{ ext{LLM}}$ effectively reduces biases while preserving knowledge integrity. This performance surpasses that of traditional fine-tuning of smaller language models and base LLMs that merely reply on prompting techniques. Our findings demonstrate that instruction fine-tuning on custom datasets tailored for tasks such as debiasing is a highly effective strategy for minimizing bias in LLM while preserving their inherent knowledge and capabilities. The code and dataset are accessible at \href{https://github.com/shainarazavi/Safe-Responsible-LLM}{SR-LLM}

研究の動機と目的

• 大規模言語モデル（LLM）における、人間の価値観との不一致に起因する、不適切で偏見のある、または有毒な出力の増加するリスクに対処すること。
• 安全を目的とした指示微調整のための、専門家がアノテートした特別なデータセットを構築することで、現在のLLMの安全性研究におけるギャップを埋めること。
• バイアス低減と強力な言語理解能力を両立させた、パラメータ効率的で指示微調整されたLLMの開発。
• 多様なベンチマークおよび実世界の独自データセットを用いて、モデルの安全性パフォーマンスを評価すること。
• データ、コード、透明な評価プロトコルのオープンソース化を通じて、責任あるAIの発展を促進すること。

提案手法

• 有害なLLM出力を明確なリスクタイプに体系的に分類できる包括的な安全リスク分類体系を構築し、毒性、バイアス、否定的感情、有害な内容などを含む。
• モデルの行動をガイドするため、有害なプロンプトとその対応する安全で穏当な変種のペアを専門家がアノテートした新しい指示微調整データセットを構築した。
• LoRAなどのパラメータ効率的微調整（PEFT）技術を適用し、最小限のパラメータ更新でベースLLMを微調整することで、効率性とスケーラビリティを確保した。
• 有害な出力を是正する能力を学習しつつ言語の流暢さを維持できるように、有害および安全な例のペアを統合した指示微調整を実施した。
• 5つの公開ベンチマークと2つの独自データセットを用いたマルチステージの評価パイプラインを採用し、安全性の向上と言語理解能力の測定を実施した。
• 赤チーム攻撃および悪意あるプロンプトを用いて、脱獄攻撃やプロンプトインジェクション攻撃に対する耐性をテストした。

実験結果

リサーチクエスチョン

• RQ1 安全を重視した指示微調整されたLLMは、言語理解能力の低下を伴わずに、偏見や毒性、有害な内容の生成を顕著に低減できるか？
• RQ2 標準的な微調整手法と比較して、有害なプロンプトから安全なプロンプトへの変換ペアを専門家がアノテートしたカスタムデータセットは、LLMの安全性向上にどの程度効果的か？
• RQ3 パラメータ効率的微調整（PEFT）は、モデルのパフォーマンスを維持しつつ、安全でスケーラブルなLLMの展開をどの程度可能にするか？
• RQ4 SR$_{\text{LLM}}$ は、プロンプトインジェクションや脱獄攻撃などの悪意ある条件下でどの程度の性能を示すか？
• RQ5 統一された安全リスク分類体系は、多様なLLMの安全性問題の体系的な同定と是正を可能にするか？

主な発見

• SR$_{\text{LLM}}$ は、5つのベンチマークデータセットおよび2つの独自データセットにおいて、有害なコンテンツ生成を顕著に低減し、一貫した安全性の向上を示した。
• 特に性別や人種に関するバイアス、毒性、否定的感情の分野において、有害または偏見のあるプロンプトに対して安全で穏当な応答を生成する能力が顕著に向上した。
• PEFTを用いることで、モデルは強力な言語理解能力を維持しており、安全性の微調整がモデルパフォーマンスに本質的に悪影響を及えるわけではないことが示された。
• 悪意あるプロンプトインジェクションや脱獄攻撃に対しても、モデルは頑健な耐性を示し、ベースラインモデルと比較してより高い耐性を示した。
• 専門家がアノテートした「有害→安全」プロンプトペアのデータセットは、モデルが安全な応答生成を学習するのを効果的にガイドしたことが確認され、キュレートされた安全データの有効性が裏付けられた。
• データセットとコードのオープンソース化により、再現可能性が確保され、責任あるAI開発におけるコミュニティ主導の進展が可能になった。