[논문 리뷰] On the Impossible Safety of Large AI Models

El Mahdi El Mhamdi, Sadegh Farhadkhani외 6명|arXiv (Cornell University)|2022. 09. 30.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 대규모 인공지능 모델(LAIMs)이 고차원적이고 이질적인 사용자 생성 데이터에 의존하기 때문에, 높은 정확도와 강력한 보안 간에 피할 수 없는 상충 관계를 지닌다고 주장한다. 연구는 비밀성 보장 및 오염 공격에 대한 내성 강도를 동시에 확보할 경우, 기초적인 정확도 손실이 발생함을 입증하며, 현재 통계적 제약 조건 하에서는 보안성과 고정확도를 동시에 확보한 LAIM을 구축하는 것이 본질적으로 불가능하다고 결론내린다.

ABSTRACT

Large AI Models (LAIMs), of which large language models are the most prominent recent example, showcase some impressive performance. However they have been empirically found to pose serious security issues. This paper systematizes our knowledge about the fundamental impossibility of building arbitrarily accurate and secure machine learning models. More precisely, we identify key challenging features of many of today's machine learning settings. Namely, high accuracy seems to require memorizing large training datasets, which are often user-generated and highly heterogeneous, with both sensitive information and fake users. We then survey statistical lower bounds that, we argue, constitute a compelling case against the possibility of designing high-accuracy LAIMs with strong security guarantees.

연구 동기 및 목표

• 높은 성능에도 불구하고 본질적으로 보안성이 떨어지는 대규모 인공지능 모델(LAIMs)의 핵심 구조적 취약점을 규명하는 것.
• 기존의 비밀성 및 강건 통계 이론에서 유도된 통계적 하한선을 체계화하여, 강력한 보안 보장(예: 차별적 비밀성, 오염 공격에 대한 저항성)이 LAIM의 고정확도와 상충됨을 주장하는 것.
• 실제 상황에서 상호 연결된 사용자와 위성 정보 유포와 같은 맥락에서 표준 보안 정의(예: 일반적인 차별적 비밀성)의 부적합성을 도전하는 것.
• 규칙 기반 필터링, 피팅 조정, 프리프롬프팅 등의 현재 대응 전략이 엄밀한 보안 보장을 제공하지 못함을 비판하는 것.
• 대규모 LAIM 배포에 일시 정지 조치를 내리고, 사회적 피해를 방지하기 위해 규제, 과학, 개발자 주도의 개혁을 촉구하는 것.

제안 방법

• LAIM의 구조적 특징 분석: 사용자 생성 데이터 의존성, 고차원적 기억화, 이질적인 사용자 집단에서의 학습.
• 기존의 비밀성 통계 및 강건 통계 이론에서 유도된 통계적 하한선을 활용하여, 강력한 비밀성 및 오염 공격에 대한 내성 강도가 기초적인 정확도 제한을 초래함을 보여주는 것.
• 기준으로 사용되는 보안적 평균 추정이 고차원성과 데이터 이질성 조건에서 이미 피할 수 없는 정확도 저하를 겪고 있음을 주장하는 것.
• 실제 환경에서의 공조된 위성 정보 유포 및 가짜 사용자 존재 상황에서 표준 차별적 비밀성 및 오염 공격 저항 정의의 한계를 비판하는 것.
• 현재의 대응 기법(예: 하드코딩된 규칙, 피팅 조정, 프리프롬프팅)을 검토하고, 증명 가능한 보안 보장을 제공하지 못함을 결론내는 것.
• 미래 연구 방향 제안: 인간 판단의 보안성 확보된 공개 데이터셋 구축 및 웹 오브 트러스트 시스템을 활용한 데이터 기원 인증

실험 결과

연구 질문

• RQ1 실제 데이터 조건 하에서 대규모 인공지능 모델이 고정확도와 강력한 보안 보장을 동시에 확보할 수 있는가?
• RQ2 고차원적이고 이질적인 데이터 환경에서 차별적 비밀성과 오염 공격 저항성을 강제로 적용할 경우 정확도에 대한 기초적인 통계적 한계는 무엇인가?
• RQ3 왜 표준 비밀성 및 강건성 정의는 가짜 사용자와 위성 정보 유포가 만연한 실세계 AI 구현 환경에서는 부적합한가?
• RQ4 피팅 조정 및 프리프롬프팅과 같은 현재의 대응 기법이 LAIM에 대해 증명 가능한 보안을 제공하는 데 얼마나 효과적인가?
• RQ5 대규모로 보안성이 확보되지 않은 LAIM이 배포되는 것을 방지하기 위해 규제, 연구, 개발 분야에서 어떤 체계적 변화가 필요한가?

주요 결과

• LAIM의 높은 정확도는 특히 모델이 훈련 세트를 완전히 내삽할 경우, 훈련 데이터의 기억화에 본질적으로 연결되어 있다.
• 강력한 비밀성(예: 차별적 비밀성)과 오염 공격에 대한 내성 강도를 확보하기 위한 요구 조건은 고차원적이고 이질적인 데이터 환경에서 피할 수 없는 정확도 저하를 초래한다.
• 기존의 비밀성 및 강건 통계 이론에서 도출된 통계적 하한선은 보안성 확보된 LAIM이 현재 최첨단 모델 수준의 정확도를 달성할 수 없음을 암시한다.
• 일반적인 차별적 비밀성 및 오염 공격 저항 정의는 가짜 사용자와 공조된 위성 정보 유포가 만연한 현실 세계 환경에서는 부적합하다.
• 현재의 대응 전략(예: 규칙 기반 필터링, 피팅 조정, 프리프롬프팅)은 증명 가능한 보안 보장을 제공하지 못하며, 대규모 배포에는 부적합하다.
• 대규모 LAIM 배포에 대한 일시 정지 조치가 급히 필요하며, 상용화 이전에 규제 인증 및 독립적 감시가 필수적이다.