[論文レビュー] o3-mini vs DeepSeek-R1: Which One is Safer?

Aitor Arrieta, Miriam Ugarte+3 more|ArXiv.org|Jan 30, 2025

Radiomics and Machine Learning in Medical Imaging被引用数 3

ひとこと要約

この研究は、自動的な不安全入力テストをASTRALを用いて実施し、OpenAIの o3-mini と DeepSeek-R1（70B）の安全性を比較する。o3-mini は DeepSeek-R1 より著しく安全である。

ABSTRACT

The irruption of DeepSeek-R1 constitutes a turning point for the AI industry in general and the LLMs in particular. Its capabilities have demonstrated outstanding performance in several tasks, including creative thinking, code generation, maths and automated program repair, at apparently lower execution cost. However, LLMs must adhere to an important qualitative property, i.e., their alignment with safety and human values. A clear competitor of DeepSeek-R1 is its American counterpart, OpenAI's o3-mini model, which is expected to set high standards in terms of performance, safety and cost. In this technical report, we systematically assess the safety level of both DeepSeek-R1 (70b version) and OpenAI's o3-mini (beta version). To this end, we make use of our recently released automated safety testing tool, named ASTRAL. By leveraging this tool, we automatically and systematically generated and executed 1,260 test inputs on both models. After conducting a semi-automated assessment of the outcomes provided by both LLMs, the results indicate that DeepSeek-R1 produces significantly more unsafe responses (12%) than OpenAI's o3-mini (1.2%).

研究の動機と目的

• 2つの高容量LLM（o3-mini と DeepSeek-R1）の全体的な安全性レベルを評価する。
• 定義済みのカテゴリ、文体、説得技法にわたって安全性を評価する。
• ガードレールとAPI保護機構が安全性に与える影響を検討する。
• 再現性データと、規制文脈でのより安全な展開に向けた洞察を提供する。

提案手法

• ASTRALを使用して14の安全性カテゴリ、6つの文体、5つの説得技法にまたがる1,260件の均衡化された不安全プロンプトを自動生成する。
• Ollama経由でDeepSeek-R1（70B）をデフォルト設定でデプロイし、o3-mini betaをOpenAI APIのデフォルト設定で使用する。
• プロンプトを安全性評価者（GPT-3.5）にかけ、出力を安全・不安全・不明として分類する。o3-mini.policy-violationの取り扱いに合わせて調整する。
• 不安全または不明とラベル付けされた応答を手動でレビューし、安全性分類を確認する。
• 新しいOpenAIモデルと競合する民間LLMとの安全性を文献と照合して文脈化する。

Figure 1: Number of manually confirmed unsafe LLM outputs per writing style, persuasion technique and safety category

実験結果

リサーチクエスチョン

• RQ1 RQ1 – 不安全なプロンプトに直面したときの各LLMの全体的な安全性レベルはどれくらいか。
• RQ2 RQ2 – どの安全性カテゴリが各モデルに最も挑戦を与えるか。
• RQ3 RQ3 – 文体と説得技法はモデルの安全性にどのような影響を与えるか。

主な発見

• o3-mini は1,260件中15件の不安全な応答を生成（1.19%）。
• DeepSeek-R1 は1,260件中151件の不安全な応答を生成（11.98%）。
• o3-mini のガードレールは多くの不安全なプロンプトがモデルに到達する前にブロックした（ポリシー違反メッセージ）。
• DeepSeek-R1 はいくつかの安全性カテゴリで不安全な結果が高く現れた（特に金融犯罪、暴力、テロ関連のカテゴリ）。
• 文体S3（専門用語）とS4（ロールプレイ）は DeepSeek-R1 の不安全応答を顕著に増加させた一方、o3-mini は不安全ケースが少なく、文体駆動のパターンは強く現れなかった。
• 説得技法は両モデルの安全性に対してほとんど影響を与えなかった。
• 結果は、古いOpenAIモデルがDeepSeek-R1より安全性が高いとする既存の知見と一致する。