[論文レビュー] Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress?

Richard Ren, Steven Basart+10 more|arXiv (Cornell University)|Jul 31, 2024

Occupational Health and Safety Research被引用数 4

ひとこと要約

この論文は、AIセーフティベンチマークが真にセーフティの進歩を測定しているのか、それとも単に一般モデルの能力とトレーニング計算量に依存しているのかを調査する。40以上のモデルとベンチマークのメタアナリシスを通じて、多くのセーフティメトリクスが能力と計算量と強く相関していることが判明し、『セーフティウォッシング』の懸念が生じる。本研究では、スケーリングを超えた真正の差分的セーフティ進歩を可能にするために、実証的で相関のないメトリクスを提案する。

ABSTRACT

As artificial intelligence systems grow more powerful, there has been increasing interest in "AI safety" research to address emerging and future risks. However, the field of AI safety remains poorly defined and inconsistently measured, leading to confusion about how researchers can contribute. This lack of clarity is compounded by the unclear relationship between AI safety benchmarks and upstream general capabilities (e.g., general knowledge and reasoning). To address these issues, we conduct a comprehensive meta-analysis of AI safety benchmarks, empirically analyzing their correlation with general capabilities across dozens of models and providing a survey of existing directions in AI safety. Our findings reveal that many safety benchmarks highly correlate with both upstream model capabilities and training compute, potentially enabling "safetywashing"--where capability improvements are misrepresented as safety advancements. Based on these findings, we propose an empirical foundation for developing more meaningful safety metrics and define AI safety in a machine learning research context as a set of clearly delineated research goals that are empirically separable from generic capabilities advancements. In doing so, we aim to provide a more rigorous framework for AI safety research, advancing the science of safety evaluations and clarifying the path towards measurable progress.

研究の動機と目的

• 広く使われているAIセーフティベンチマークが、実際にセーフティの向上を測定しているのか、それとも上流の一般的能力やトレーニング計算量に混同されているのかを調査すること。
• 能力の向上がセーフティ進歩に等しいという仮定に疑問を呈すること、特にアライメントとレジliエンスベンチマークにおいて。
• 能力のスケーリングとは分離可能なセーフティの進歩を実証的に評価する基盤を提供し、能力の向上をセーフティの向上と誤認するリスクを低減すること。
• アライメント理論が上位から設計された直感的アプローチであり、研究の優先順位を誤導する可能性があると批判し、実証的根拠に基づくセーフティ評価の代替案を提唱すること。
• モデル開発者や研究者が、一般的能力から真正に分離されたベンチマークを選定または設計できるように支援すること、これにより測定可能な差分的セーフティ進歩を実現すること。

提案手法

• 複数のセーフティベンチマークと能力ベンチマークを対象に、40以上の言語モデルを網羅的にメタアナリシスする。
• 一般ベンチマークタスク（例：MMLU、GSM8K）のパフォーマンスを要約して「能力スコア」を算出することで、上流のモデル能力を捉える。
• セーフティベンチマークスコアと導出された能力スコア、および原始的なトレーニング計算量（FLOPs）との相関を測定する。
• 能力および計算量との相関強度に忦じてセーフティベンチマークを分類し、セーフティウォッシングのリスクが高いものを同定する。
• 強化学習によるヒューマンフィードバック（RLHF）や拒否ファインチューニングなどのアライメント手法と、セーフティベンチマークパフォーマンスの関係を分析し、スケーリングに伴うエンタングルメントを評価する。
• 一般的能力から実証的に分離可能な新しいベンチマークの設計フレームワークを提唱し、真正の差分的セーフティ進歩の測定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 AIセーフティベンチマークは、一般モデル能力およびトレーニング計算量とどの程度相関しているか？
• RQ2 アライメント、悪意のある攻撃への耐性、バイアスなどのセーフティベンチマークカテゴリの中で、上流の能力と高い相関を示すものと低い相関を示すものはどれか？
• RQ3 セーフティメトリクスと能力／計算量との相関関係を用いて、セーフティウォッシングを実証的に検出できるか？
• RQ4 アライメントベースの手法はセーフティベンチマークパフォーマンスにどのように影響を与えるのか？それらは真にセーフティを向上させているのか、それとも単に能力のスケーリングを促進しているだけなのか？
• RQ5 一般的能力から真正に分離可能であると実証的に示せるセーフティベンチマークを設計するための基準は何か？

主な発見

• 評価されたAIセーフティベンチマークの約半数が、一般モデル能力およびトレーニング計算量と強く相関しており、セーフティウォッシングの強いリスクを示している。
• アライメント、スケーラブルオーバーザービュー、真実性、静的悪意のある攻撃への耐性に関するベンチマークは、能力および計算量と高い相関を示しており、これらが独立したセーフティ測定を果たしていない可能性がある。
• 一方、バイアス、動的悪意のある攻撃への耐性、キャリブレーションに関するベンチマークは、能力と相対的に低い相関を示しており、より効果的に特異的セーフティ特性を測定している可能性がある。
• サキュファンシーと武器化リスクのベンチマークは、一般的能力と顕著な負の相関を示しており、より能力の高いモデルがこれらの行動をとる傾向が低い可能性がある。
• 本研究では、アライメント理論が影響力は大きいが、しばしば一般的能力スケーリングとは実証的に区別できない研究方向性を導くことが判明し、差分的セーフティ進歩の取り組みを損なっている。
• 本論文は、現在のセーフティベンチマークはスケーリングとは独立してセーフティ進歩を信頼性を持って測定できていないと結論づけ、実証的根拠に基づいた相関のない評価フレームワークへの転換を呼びかけている。