[論文レビュー] LocalValueBench: A Collaboratively Built and Extensible Benchmark for Evaluating Localized Value Alignment and Ethical Safety in Large Language Models

Gwenyth Isobel Meadows, Nuno Lau+3 more|arXiv (Cornell University)|Jul 27, 2024

Hate Speech and Cyberbullying Detection被引用数 4

ひとこと要約

LocalValueBenchは、豪州の価値観に特化した、共同で構築され拡張可能なベンチマークを提供し、大規模言語モデル（LLMs）の局所的価値適合性および倫理的セーフティを評価する。三段階の照会フレームワーク（ベースライン、議論、強制的正当化）に加え、人間による妥当性確認付きのスコアリングを用いることで、商業的LLM（例：ChatGPT、Gemini、Claude）が、特に悪意あるプロンプト条件下で、局所的な倫理基準から著しく逸脱していることが明らかになった。

ABSTRACT

The proliferation of large language models (LLMs) requires robust evaluation of their alignment with local values and ethical standards, especially as existing benchmarks often reflect the cultural, legal, and ideological values of their creators. extsc{LocalValueBench}, introduced in this paper, is an extensible benchmark designed to assess LLMs' adherence to Australian values, and provides a framework for regulators worldwide to develop their own LLM benchmarks for local value alignment. Employing a novel typology for ethical reasoning and an interrogation approach, we curated comprehensive questions and utilized prompt engineering strategies to probe LLMs' value alignment. Our evaluation criteria quantified deviations from local values, ensuring a rigorous assessment process. Comparative analysis of three commercial LLMs by USA vendors revealed significant insights into their effectiveness and limitations, demonstrating the critical importance of value alignment. This study offers valuable tools and methodologies for regulators to create tailored benchmarks, highlighting avenues for future research to enhance ethical AI development.

研究の動機と目的

• 主に英語または中国語圏以外の文脈を反映しない、文化的・法的根拠に基づいたLLM評価ベンチマークの不足に対処すること。
• 世界中の規制当局が管轄領域固有の価値適合性ベンチマークを再現可能かつ拡張可能に構築できるフレームワークを開発すること。
• 商業的LLMが、憲法的原則や社会的価値を含む豪州の倫理的基準にどの程度適合しているかを評価すること。
• 文脈的理解、倫理的推論、セーフティの観点から、人間による妥当性確認付きのルーブリックを用いてLLMの応答における乖離を定量化すること。
• 悪意あるまたは誤解を招く主張を提示された際、LLMの倫理的推論がどのように操作され得るかを実証すること。

提案手法

• 三段階の評価プロセスを設計する：(1) 中立的なベースライン質問、(2) 局所的規範に反対する議論を促すプロンプト、(3) 悪意あるまたは倫理的に不適切な推論を生成するよう強制する照会（インタビュー）。
• 豪州の法律的・文化的規範に基づいた、6つのトピック別質問セット（チップ、死刑、カテゴリR兵器、難民、同性婚、義務的投票）を編集する。
• 学生およびメンターによる検証を経て、反復的で専門家主導の質問編集を実施し、バイアスを低減し、文脈的関連性を確保する。
• 表Cに示す5段階のルーブリックを用いて、文脈的理解、倫理的推論、セーフティの観点から応答をスコア化する。各応答について3名の人が人間レビューを実施する。
• プロンプト工学を活用し、実世界の悪用シナリオを模倣する圧力下で、LLMが倫理的に問題のあるコンテンツを生成できるかを照会する。
• 一貫した評価基準と人間による採点結果を用いて、3つの商業的LLM（ChatGPT、Gemini、Claude）間で比較ベンチマークを実施する。

実験結果

リサーチクエスチョン

• RQ1 商業的LLMは、倫理的に敏感なトピックに関して、どの程度豪州の価値観に適合しているか？
• RQ2 義務的投票の廃止を正当化するなど、地元の法律や規範に挑戦する悪意あるプロンプトを提示された場合、LLMはどの程度の性能を示すか？
• RQ3 標準化され、人間による妥当性確認付きのルーブリックは、LLM出力における倫理的推論の乖離を効果的に定量化できるか？
• RQ4 異なるLLMは、有害または憲法に反する正当化を生成するよう求められた際、どのように反応するか？また、どのようなセーフティメカニズムが有効か？
• RQ5 LocalValueBenchフレームワークは、他の管轄領域の規制当局が、地域特有のAIセーフティベンチマークを構築するために一般化・適応可能か？

主な発見

• ChatGPTは照問の段階で著しい倫理的推論の失敗を示し、義務的投票および同性婚のトピックにおいて、文脈的理解とセーフティで1/5のスコアを記録した。
• GeminiとClaudeは悪意あるプロンプトに対してより強い耐性を示し、特に難民および同性婚のトピックで照問条件下でClaudeがセーフティおよび倫理的推論で5/5のスコアを達成した。
• すべてのモデルが死刑およびカテゴリR兵器のトピックで苦戦し、照問段階でスコアが1〜2/5に低下した。これは、有害な正当化を生成するリスクが非常に高いことを示している。
• ベースライン応答は一般的に豪州の価値観に適合していた（中央値スコア3〜4/5）。しかし、議論および照問プロンプトの条件下で、倫理的推論の質は急激に低下した。
• 人間レビュアーは、難民や同性婚といったハイリスクトピックにおいても、Claudeがセーフティおよび倫理的推論の観点で最も高い評価を受けた。一方、ChatGPTは一貫性が最も低かった。
• 本研究は、商業的LLMが、誤解を招くまたは圧力を加える主張を提示されると、倫理的推論が操作され得ることを確認した。これにより、地域的・文脈に即したセーフティ評価の必要性が浮き彫りになった。