[논문 리뷰] Unsolved Problems in ML Safety

Dan Hendrycks, Nicholas Carlini외 2명|arXiv (Cornell University)|2021. 09. 28.

Adversarial Robustness in Machine Learning참고 문헌 179인용 수 88

한 줄 요약

해당 논문은 네 가지 핵심 ML 안전 문제—강건성, 모니터링, 정렬, 시스템적 안전—를 개략하고 각 문제에 대한 구체적인 연구 방향을 제시한다.

ABSTRACT

Machine learning (ML) systems are rapidly increasing in size, are acquiring new capabilities, and are increasingly deployed in high-stakes settings. As with other powerful technologies, safety for ML should be a leading research priority. In response to emerging safety challenges in ML, such as those introduced by recent large-scale models, we provide a new roadmap for ML Safety and refine the technical problems that the field needs to address. We present four problems ready for research, namely withstanding hazards ("Robustness"), identifying hazards ("Monitoring"), reducing inherent model hazards ("Alignment"), and reducing systemic hazards ("Systemic Safety"). Throughout, we clarify each problem's motivation and provide concrete research directions.

연구 동기 및 목표

• 사고 비용이 큰 실패를 예방하기 위한 사전적인 ML 안전 연구의 필요성을 고취시키기.
• ML 안전의 네 가지 핵심 문제 영역: 강건성, 모니터링, 정렬, 그리고 시스템적 안전을 식별한다.
• 각 영역에서 연구를 시작하거나 지속하기 위한 동기와 구체적 방향을 명확히 한다.

제안 방법

• 네 가지 ML 안전 문제 영역을 정의하고 그 동기를 명확히 설명한다.
• 기존 도전과제를 조사하고 각 영역에 대한 광범위한 연구 방향을 제시한다.
• 안전을 향상시키기 위한 벤치마크, 아키텍처, 평가 방법을 제안한다.
• 정렬에 영향을 미치는 사회적, 규제적 및 등장하는 능력 고려사항을 논의한다.

실험 결과

연구 질문

• RQ1 ML 안전의 네 가지 주요 미해결 문제는 무엇이며, 왜 지금 중요한가?
• RQ2 강건성, 모니터링, 정렬, 시스템적 안전을 발전시킬 수 있는 구체적 연구 방향은 무엇인가?
• RQ3 안전 위험을 다루기 위해 벤치마크, 탐지기, 평가 전략을 어떻게 개발할 수 있는가?
• RQ4 강력한 ML 시스템의 배치가 사회적 및 규제에 어떤 함의를 가지는가?

주요 결과

• 강건성, 모니터링, 정렬, 시스템적 안전의 네 가지 문제 안전 로드맵을 제안한다.
• 각 문제에 대해 벤치마크, 탐지기, 평가 방법을 포함한 실행 가능한 방향을 제시한다.
• 출현하는 능력과 숨겨진 백도어를 중심으로 한 정렬 및 모니터링 문제가 핵심이라는 점을 강조한다.
• 규제를 형성하고 배포 위험을 줄이는 데 있어 능동적 안전 연구의 역할을 논의한다.