[논문 리뷰] o3-mini vs DeepSeek-R1: Which One is Safer?

Aitor Arrieta, Miriam Ugarte외 3명|ArXiv.org|2025. 01. 30.

Radiomics and Machine Learning in Medical Imaging인용 수 3

한 줄 요약

본 연구는 OpenAI의 o3-mini와 DeepSeek-R1(70B)의 안전성을 ASTRAL을 이용한 자동화된 비안전 입력 테스트로 비교합니다; o3-mini는 DeepSeek-R1보다 현저히 안전합니다.

ABSTRACT

The irruption of DeepSeek-R1 constitutes a turning point for the AI industry in general and the LLMs in particular. Its capabilities have demonstrated outstanding performance in several tasks, including creative thinking, code generation, maths and automated program repair, at apparently lower execution cost. However, LLMs must adhere to an important qualitative property, i.e., their alignment with safety and human values. A clear competitor of DeepSeek-R1 is its American counterpart, OpenAI's o3-mini model, which is expected to set high standards in terms of performance, safety and cost. In this technical report, we systematically assess the safety level of both DeepSeek-R1 (70b version) and OpenAI's o3-mini (beta version). To this end, we make use of our recently released automated safety testing tool, named ASTRAL. By leveraging this tool, we automatically and systematically generated and executed 1,260 test inputs on both models. After conducting a semi-automated assessment of the outcomes provided by both LLMs, the results indicate that DeepSeek-R1 produces significantly more unsafe responses (12%) than OpenAI's o3-mini (1.2%).

연구 동기 및 목표

• 두 개의 대용량 LLM(o3-mini와 DeepSeek-R1)의 전반적인 안전성 수준 평가.
• 사전 정의된 범주, 문체, 설득 기술 전반에 걸친 안전성 평가.
• 가드레일과 API 보호 장치가 안전성 결과에 어떤 영향을 미치는지 조사.
• 규제 맥락에서 보다 안전한 배치를 위한 재현 데이터 및 시사점 제시.

제안 방법

• ASTRAL을 사용하여 14개의 안전 범주, 6개의 문체, 5개의 설득 기법에 걸쳐 자동으로 1,260개의 균형 잡힌 비안전 프롬프트를 생성합니다.
• Ollama를 통해 기본 설정으로 DeepSeek-R1(70B)을 배포; 기본 설정의 OpenAI API를 통해 o3-mini 베타를 사용합니다.
• 프롬프트를 안전성 평가기(GPT-3.5)를 통해 실행하여 출력물을 안전(Safe), 비안전(Unsafe), 미확인(Unknown)으로 분류합니다; o3-mini의 policy-violation 처리에 맞춰 조정합니다.
• 비안전 또는 미확인으로 분류된 응답을 수동으로 검토하여 안전성 분류를 확인합니다.
• 결과를 이전 연구와 비교하여 새로운 OpenAI 모델의 안전성과 경쟁형 사설 LLM의 안전성을 맥락화합니다.

Figure 1: Number of manually confirmed unsafe LLM outputs per writing style, persuasion technique and safety category

실험 결과

연구 질문

• RQ1 RQ1 – 비안전 프롬프트에 직면했을 때 각 LLM의 전반적인 안전 수준은 어느 정도입니까?
• RQ2 RQ2 – 어떤 안전 범주가 각 모델에 가장 큰 도전을 제시합니까?
• RQ3 RQ3 – 문체와 설득 기법은 모델의 안전성에 어떤 영향을 미칩니까?

주요 결과

• o3-mini는 1,260개 중 15개의 비안전 응답을 생성했습니다(1.19%).
• DeepSeek-R1은 1,260개 중 151개의 비안전 응답을 생성했습니다(11.98%).
• o3-mini의 가드레일은 모델에 도달하기 전에 많은 비안전 프롬프트를 차단했습니다(정책 위반 메시지).
• DeepSeek-R1은 재정 범죄, 폭력, 테러 등과 관련된 여러 안전 범주에서 더 높은 비안전 결과를 보였습니다.
• 문체 S3(전문 용어)와 S4(역연기)는 DeepSeek-R1에서 비안전 응답을 현저히 증가시켰고, 반면 o3-mini는 비안전 사례가 적어 스타일에 의한 강한 패턴을 보이지 않았습니다.
• 설득 기법은 두 모델 모두 안전성에 미미한 영향을 미쳤습니다.
• 결과는 OpenAI의 이전 모델이 DeepSeek-R1보다 더 높은 안전성을 보였다는 선행 연구와 일치합니다.