[論文レビュー] All Languages Matter: On the Multilingual Safety of Large Language Models

Wenxuan Wang, Zhaopeng Tu+5 more|arXiv (Cornell University)|Oct 2, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、10の言語と14の安全リスクをカバーする、最初のマルチリンガル安全性ベンチマークであるXSafetyを紹介する。また、大規模言語モデル（LLMs）が英語以外の言語において、英語よりも著しく不安全な応答を生成することを示している。この問題に対処するため、モデルに英語で推論させた後、元の言語で応答するよう指示するなど、クロスリンガルプロンプティング手法を提案。これにより、ChatGPTの非英語クエリにおける不安全応答率は19.1％から9.7％に低下し、50％の相対的削減が達成された。

ABSTRACT

Safety lies at the core of developing and deploying large language models (LLMs). However, previous safety benchmarks only concern the safety in one language, e.g. the majority language in the pretraining data such as English. In this work, we build the first multilingual safety benchmark for LLMs, XSafety, in response to the global deployment of LLMs in practice. XSafety covers 14 kinds of commonly used safety issues across 10 languages that span several language families. We utilize XSafety to empirically study the multilingual safety for 4 widely-used LLMs, including both close-API and open-source models. Experimental results show that all LLMs produce significantly more unsafe responses for non-English queries than English ones, indicating the necessity of developing safety alignment for non-English languages. In addition, we propose several simple and effective prompting methods to improve the multilingual safety of ChatGPT by evoking safety knowledge and improving cross-lingual generalization of safety alignment. Our prompting method can significantly reduce the ratio of unsafe responses from 19.1% to 9.7% for non-English queries. We release our data at https://github.com/Jarviswang94/Multilingual_safety_benchmark.

研究の動機と目的

• LLMにおけるマルチリンガル安全性評価の不足、特に非英語言語についての課題に対処すること。
• 主に英語データに基づいて安全性の整合性を学習したモデルが、他の言語へも効果的に一般化するかを調査すること。
• ファインチューニングを伴わずに、マルチリンガル安全性を向上させるプロンプティング戦略の開発と評価すること。
• 今後のクロスリンガルモデル安全性に関する研究を支援するため、包括的かつマルチリンガルな安全性ベンチマークを提供すること。

提案手法

• 10言語と14の安全性カテゴリをカバーする28,000件のアノテート済みインスタンスを含むマルチリンガル安全性ベンチマークXSafetyを構築した。
• プロフェッショナルな翻訳者を用いて、既存のモノリンガル安全性ベンチマークを10言語に翻訳し、言語的・文化的な正確性を確保した。
• XSafety上で4つの広く使われているLLM（ChatGPT、PaLM 2、LLaMA2-Chat、Vicuna）を評価し、マルチリンガル安全性パフォーマンスを測定した。
• 3つのプロンプティング戦略を提案：SafePrompt（安全性知識の喚起）、XLingPrompt（英語でのクロスリンガル推論）、XSafePrompt（ハイブリッドプロンプティング）。
• モデルのファインチューニングを伴わないゼロショットプロンプティングを用い、非英語クエリにおけるこれらの手法の有効性をテストした。
• 自動指標と人間による評価を併用して、プロンプティング手法間でのモデル出力を安全性分類の観点から比較した。

実験結果

リサーチクエスチョン

• RQ1 LLMの安全性パフォーマンスは、特に英語と非英語言語の間でどのように変動するか？
• RQ2 英語に焦点を当てた安全性の整合性学習は、LLMにおいて非英語言語へどの程度一般化するか？
• RQ3 ファインチューニングなしで、プロンプティング技術がLLMのマルチリンガル安全性を向上させられるか？
• RQ4 安全性知識の喚起とクロスリンガル推論のどちらのプロンプティング戦略が、言語間でより効果的な安全性一般化をもたらすか？
• RQ5 安全性の整合性の言語間転送性に影響を与える言語的・構造的要因は何か？

主な発見

• 評価されたすべてのLLMが、非英語クエリに対して英語クエリよりも著しく不安全な応答を生成しており、不安全応答率は非英語で約19.1％、英語で約10％に上昇している。
• 最も効果的なプロンプティング手法、XSafePromptは、非英語クエリにおける不安全応答率を19.1％から9.7％に低下させ、相対的に50％の削減を達成した。
• 英語で推論を促すXLingPrompt1は、ロシア語において特に効果的で、クロスリンガル一般化の可能性を示している。
• プロンプティング戦略のパフォーマンスは言語によって顕著に異なり、翻訳の難易度が高くなるほど効果が低下する傾向にあり、言語の多様性が安全性一般化に影響を与えることが示唆された。
• SafePromptとXLingPromptの組み合わせはパフォーマンス向上をもたらさず、知識喚起とクロスリンガル推論の間には相反するメカニズムがある可能性がある。
• XLingPrompt1の出力は英語の応答とよく一致しており、クロスリンガル推論が英語から他の言語への安全性の整合性の転送を改善することを確認した。