[논문 리뷰] Safetywashing: Do AI Safety Benchmarks Actually Measure Safety Progress?

Richard Ren, Steven Basart외 10명|arXiv (Cornell University)|2024. 07. 31.

Occupational Health and Safety Research인용 수 4

한 줄 요약

이 논문은 AI 안전 벤치마크가 진정으로 안전성 향상을 측정하는지, 아니면 일반적인 모델 능력과 훈련 컴퓨팅 파워에 의해 영향을 받는지 조사한다. 수십 개의 모델과 벤치마크에 대한 메타분석을 통해 많은 안전성 지표가 능력과 컴퓨팅과 높은 상관관계를 보임을 발견하였으며, 이는 '안전성 환원'(safetywashing)의 우려를 제기한다. 또한 스케일링을 초월한 진정한 차별적 안전성 향상을 가능하게 하기 위해 실증적이고 상관관계가 없는 지표를 제안한다.

ABSTRACT

As artificial intelligence systems grow more powerful, there has been increasing interest in "AI safety" research to address emerging and future risks. However, the field of AI safety remains poorly defined and inconsistently measured, leading to confusion about how researchers can contribute. This lack of clarity is compounded by the unclear relationship between AI safety benchmarks and upstream general capabilities (e.g., general knowledge and reasoning). To address these issues, we conduct a comprehensive meta-analysis of AI safety benchmarks, empirically analyzing their correlation with general capabilities across dozens of models and providing a survey of existing directions in AI safety. Our findings reveal that many safety benchmarks highly correlate with both upstream model capabilities and training compute, potentially enabling "safetywashing"--where capability improvements are misrepresented as safety advancements. Based on these findings, we propose an empirical foundation for developing more meaningful safety metrics and define AI safety in a machine learning research context as a set of clearly delineated research goals that are empirically separable from generic capabilities advancements. In doing so, we aim to provide a more rigorous framework for AI safety research, advancing the science of safety evaluations and clarifying the path towards measurable progress.

연구 동기 및 목표

• 널리 사용되는 AI 안전 벤치마크가 실제로 안전성 향상을 측정하는지, 아니면 상游의 일반적 능력과 훈련 컴퓨팅 파워에 의해 혼동되는지 조사하기.
• 능력 향상이 안전성 향상과 동일시된다는 가정을 도전하며, 특히 정렬(alignment)과 내성성(robustness) 벤치마크에서 그러한 가정이 문제가 될 수 있음을 제기하기.
• 일반적 능력 증가와의 분리가 가능한 실증적 기반을 제공하여 안전성 향상과 일반적 능력 증가 간의 구분을 가능하게 하여, 능력 향상이 안전성 향상으로 잘못 해석되는 위험을 줄이기.
• 정렬 이론이 상향식이고 직관 기반의 패러다임이 되어 연구 우선순위를 잘못 이끌 수 있음을 비판하고, 실증 기반의 안전성 평가 접근법을 주장하기.
• 모델 개발자와 연구자들이 실제로 일반적 능력과 분리된 벤치마크를 선택하거나 설계할 수 있도록 안내하기.

제안 방법

• 다수의 안전 벤치마크와 능력 벤치마크를 대상으로 40여 개 이상의 언어 모델에 대한 종합적인 메타분석 수행.
• 일반 벤치마크 과제(예: MMLU, GSM8K)의 성능을 압축하여 상游 모델 능력을 캡처하는 '능력 점수' 계산.
• 안전 벤치마크 점수와 유도된 능력 점수, 원시 훈련 컴퓨팅 파워(FLOPs) 간의 상관관계 측정.
• 능력과 컴퓨팅과의 상관관계 강도에 따라 안전 벤치마크를 분류하여 안전성 환원에 취약한 벤치마크 식별.
• 정렬 기법(예: RLHF, 거절 피지터링)과 안전 벤치마크 성능 간의 관계 분석을 통해 스케일링과의 엮임 정도 평가.
• 일반적 능력과 실증적으로 분리된 새로운 벤치마크 설계 프레임워크 제안하여 진정한 차별적 안전성 향상 측정 가능하게 하기.

실험 결과

연구 질문

• RQ1 AI 안전 벤치마크가 일반적 모델 능력과 훈련 컴퓨팅 파워와 어느 정도 상관관계가 있는가?
• RQ2 정렬, 공격성에 대한 내성성, 편향 등의 안전 벤치마크 카테고리 중 능력과의 상관관계가 높은가, 낮은가?
• RQ3 안전성 지표와 능력/컴퓨팅 간의 상관관계를 통해 안전성 환원을 실증적으로 감지할 수 있는가?
• RQ4 정렬 기반 기법이 안전 벤치마크 성능에 어떤 영향을 미치며, 이는 진정으로 안전성을 향상시키는가, 아니면 단지 능력 증가를 반영하는 것인가?
• RQ5 일반적 능력과 실증적으로 분리 가능한 안전 벤치마크를 설계하기 위해 어떤 기준을 사용할 수 있는가?

주요 결과

• 평가된 AI 안전 벤치마크의 약 절반은 일반적 모델 능력과 훈련 컴퓨팅 파워와 높은 상관관계를 보이며, 이는 안전성 환원의 강한 위험을 시사한다.
• 정렬, 확장 가능한 감시, 진실성, 정적 공격성에 대한 내성성 등 안전 벤치마크는 능력과 컴퓨팅과 높은 상관관계를 보이며, 이는 독립적인 안전성 측정이 아닐 수 있음을 시사한다.
• 반면, 편향, 동적 공격성에 대한 내성성, 校정(calibration) 벤치마크는 능력과 상대적으로 낮은 상관관계를 보이며, 이는 더 효과적으로 독립된 안전성 특성을 측정할 수 있음을 시사한다.
• 유화적 태도(sycophancy)와 무기화 위험 벤치마크는 일반적 능력과 상당한 음의 상관관계를 보이며, 이는 더 능력 있는 모델일수록 이러한 행동에 덜 취약할 수 있음을 시사한다.
• 연구는 정렬 이론이 영향력은 있지만, 종종 일반적 능력 증가와 실증적으로 구분되지 않는 연구 방향을 이끌어내어, 차별적 안전성 향상 노력에 해를 끼칠 수 있음을 발견하였다.
• 논문은 현재의 안전 벤치마크가 스케일링과 독립적인 안전성 향상을 신뢰할 만하게 측정하지 못하며, 실증 기반의 상관관계가 없는 평가 프레임워크로의 전환을 촉구한다.