[論文レビュー] On the Impossible Safety of Large AI Models

El Mahdi El Mhamdi, Sadegh Farhadkhani+6 more|arXiv (Cornell University)|Sep 30, 2022

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

この論文は、大規模なAIモデル（LAIMs）が、高次元で多様なユーザー生成データに依存するため、高い精度と強いセキュリティの間で避けられないトレードオフに直面すると主張している。微分プライバシーと汚染攻撃耐性——セキュリティの主要な保証——を両立させようとする際、根本的な精度の損失が生じ、現在の統計的制約のもとでは、安全でかつ高精度なLAIMsの構築は根本的にな不可能であることを示している。

ABSTRACT

Large AI Models (LAIMs), of which large language models are the most prominent recent example, showcase some impressive performance. However they have been empirically found to pose serious security issues. This paper systematizes our knowledge about the fundamental impossibility of building arbitrarily accurate and secure machine learning models. More precisely, we identify key challenging features of many of today's machine learning settings. Namely, high accuracy seems to require memorizing large training datasets, which are often user-generated and highly heterogeneous, with both sensitive information and fake users. We then survey statistical lower bounds that, we argue, constitute a compelling case against the possibility of designing high-accuracy LAIMs with strong security guarantees.

研究の動機と目的

• 高精度を誇るにもかかわらず、本質的に不安定である大規模AIモデル（LAIMs）の構造的脆弱性の核心を特定すること。
• プライベート統計およびレジリエント統計からの既存の統計的下界を体系化し、微分プライバシー、汚染攻撃耐性といった強力なセキュリティ保証が、LAIMsにおける高精度と両立できないことを主張すること。
• 現実世界の相互接続されたユーザーとフェイクニュースを含む文脈において、標準的なセキュリティ定義（例：ヴァナイル微分プライバシー）の不適切さを疑問視すること。
• ルールベースのフィルタリング、ファインチューニング、プレプロンプティングといった現在の緩和戦略の限界を批判し、それらが厳密なセキュリティ保証を提供しないと主張すること。
• 大規模なLAIMの展開を一時停止し、社会的被害を防ぐために規制、科学研究、開発者主導の改革を提言すること。

提案手法

• LAIMsの構造的特徴の分析：ユーザー生成データへの依存、高次元の記憶化、多様なユーザー集団からの学習。
• プライベート統計およびレジリエント統計からの確立された統計的下界を活用し、強力なプライバシーと汚染攻撃耐性が根本的な精度制限をもたらすことを示す。
• ベンチマークとして用いられる「安全な平均推定」でさえ、高次元性とデータの多様性の下では避けられない精度低下を経験することを主張する。
• フェイクユーザーと調整されたフェイクニュースが横行する現実世界の文脈において、標準的な微分プライバシーと汚染攻撃耐性の定義の限界を批判する。
• 現在の緩和技術（例：ハードコードされたルール、ファインチューニング、プレプロンプティング）をレビューし、証明可能なセキュリティを提供するには不十分であると結論づける。
• 今後の研究方向性として、人間の判断の安全な公開データセットの構築や、データの出所を検証できるウェブ・オブ・トラストシステムの活用を提言する。

実験結果

リサーチクエスチョン

• RQ1 現実のデータ条件のもとで、大規模AIモデルは高精度と強力なセキュリティ保証を両立できるか？
• RQ2 高次元で多様なデータ環境において、微分プライバシーと汚染攻撃耐性を強制すると、精度に及ぼされる根本的な統計的制限は何か？
• RQ3 フェイクユーザーとフェイクニュースが横行する現実世界のAI展開文脈において、標準的なプライバシーおよびレジリエンス定義がなぜ不十分なのか？
• RQ4 ファインチューニングやプレプロンプティングといった現在の緩和技術が、LAIMsに対してどの程度の証明可能なセキュリティを提供できるのか？
• RQ5 大規模なLAIMの展開が不正に進むのを防ぐために、規制、研究、開発分野でどのようなシステム的変化が必要か？

主な発見

• LAIMsにおける高精度は、特にモデルがトレーニングセットを完全に補間する場合、トレーニングデータの記憶に本質的に依存している。
• 強力なプライバシー（例：微分プライバシー）と汚染攻撃耐性を達成する必要があると、高次元で多様なデータ環境において、避けられない精度の低下が生じる。
• プライベート統計およびレジリエント統計からの既存の統計的下界は、安全なLAIMsが現在の最先端モデルと同等の精度を達成できないことを示唆している。
• ヴァナイル微分プライバシーと汚染攻撃耐性の定義は、フェイクユーザーと調整されたフェイクニュースの蔓延する現実世界の展開には不十分である。
• ルールベースのフィルタリング、ファインチューニング、プレプロンプティングといった現在の緩和戦略は、証明可能なセキュリティ保証を提供せず、大規模展開には不適切である。
• 大規模なLAIM展開の一時停止が、緊急に必要であり、商業化の前に規制認証と独立した監査体制の導入が不可欠である。