[論文レビュー] Unsolved Problems in ML Safety

Dan Hendrycks, Nicholas Carlini+2 more|arXiv (Cornell University)|Sep 28, 2021

Adversarial Robustness in Machine Learning参考文献 179被引用数 88

ひとこと要約

本論文は、4つのコアML安全性問題—堅牢性、モニタリング、整合性、そしてシステム的安全性—を概説し、それぞれに対する具体的な研究方向を提供します。

ABSTRACT

Machine learning (ML) systems are rapidly increasing in size, are acquiring new capabilities, and are increasingly deployed in high-stakes settings. As with other powerful technologies, safety for ML should be a leading research priority. In response to emerging safety challenges in ML, such as those introduced by recent large-scale models, we provide a new roadmap for ML Safety and refine the technical problems that the field needs to address. We present four problems ready for research, namely withstanding hazards ("Robustness"), identifying hazards ("Monitoring"), reducing inherent model hazards ("Alignment"), and reducing systemic hazards ("Systemic Safety"). Throughout, we clarify each problem's motivation and provide concrete research directions.

研究の動機と目的

• 費用のかかる失敗を未然に防ぐための積極的なML安全性研究の必要性を動機づける。
• ML安全性の4つの重要な問題領域を特定する：堅牢性、モニタリング、整合性、そしてシステム的安全性。
• 各領域で研究を開始または継続するための動機を明確にし、具体的な方向性を提供する。

提案手法

• 4つのML安全性問題領域を定義し、それらの動機を明確にする。
• 既存の課題を整理し、各領域の広範な研究方向を提案する。
• 安全性を向上させるためのベンチマーク、アーキテクチャ、評価アプローチを提案する。
• 整合性に影響を与える社会的・規制的・出現的能力の考慮事項について論じる。

実験結果

リサーチクエスチョン

• RQ1 ML安全性における4つの主要な未解決問題は何か、そしてなぜ今それらが重要なのか？
• RQ2 堅牢性、モニタリング、整合性、システム的安全性を前進させる具体的な研究方向は何か？
• RQ3 安全性リスクに対応するために、ベンチマーク、検出器、評価戦略をどのように開発できるか？
• RQ4 強力なMLシステムの展開における社会的・規制的影響は何か？

主な発見

• 4つの問題の安全性ロードマップを提案する：堅牢性、モニタリング、整合性、そしてシステム的安全性。
• 各問題ごとに実践的な方向性を概説し、ベンチマーク、検出器、評価手法を含む。
• 出現的能力と隠れたバックドアを、中心的な整合性とモニタリングの懸念として強調する。
• 規制形成と展開リスクの低減における積極的な安全性研究の役割を論じる。