[논문 리뷰] Advancing the Research and Development of Assured Artificial Intelligence and Machine Learning Capabilities

Tyler J. Shipp, Daniel J. Clouse외 5명|arXiv (Cornell University)|2020. 09. 24.

Adversarial Robustness in Machine Learning참고 문헌 8인용 수 6

한 줄 요약

이 논문은 미국 국방부 및 정보기관 내 확실한 인공지능 및 기계학습(AI/ML) 능력을 발전시키기 위해 A2I 워킹그룹이 주도하는 공동 프레임워크를 제안한다. 주요 초점은 AI 및 기계학습 공격에 대한 강력한 방어 수단을 마련하기 위한 AI 신뢰성 확보, 시스템 보안, 아키텍처 취약성 분야의 집중적 연구이다. 핵심 기여는 국방 분야에서 사용되는 AI/ML 시스템의 신뢰성 향상을 위한 체계적이고 다기관 간 협력적 이니셔티브를 마련한 데 있다.

ABSTRACT

Artificial intelligence (AI) and machine learning (ML) have become increasingly vital in the development of novel defense and intelligence capabilities across all domains of warfare. An adversarial AI (A2I) and adversarial ML (AML) attack seeks to deceive and manipulate AI/ML models. It is imperative that AI/ML models can defend against these attacks. A2I/AML defenses will help provide the necessary assurance of these advanced capabilities that use AI/ML models. The A2I Working Group (A2IWG) seeks to advance the research and development of assured AI/ML capabilities via new A2I/AML defenses by fostering a collaborative environment across the U.S. Department of Defense and U.S. Intelligence Community. The A2IWG aims to identify specific challenges that it can help solve or address more directly, with initial focus on three topics: AI Trusted Robustness, AI System Security, and AI/ML Architecture Vulnerabilities.

연구 동기 및 목표

• 국방 및 정보 시스템에 대한 적대적 AI 및 기계학습(A2I/AML) 공격 증가에 대응한다.
• 군사 및 정보 분야에서 사용되는 AI/ML 능력의 신뢰성 향상을 위해 신뢰할 수 있는 방어 수단을 개발한다.
• 미국 국방부 및 정보기관 간 공동 연구 환경을 구축한다.
• 초기 노력은 AI 신뢰성 확보, AI 시스템 보안, AI/ML 아키텍처 취약성의 세 가지 핵심 과제에 집중한다.
• 높은 위험도의 운영 환경에서 AI/ML 시스템의 내구성과 신뢰성을 향상시키는 데 기여하는 체계적 R&D 경로를 제공한다.

제안 방법

• AI/ML 신뢰성 연구를 조율하기 위한 다기관 포럼으로서 A2I 워킹그룹(A2IWG)을 설립한다.
• 입력 수준의 조작에 대비해 AI 모델을 보호하기 위해 적대적 강건성 연구를 우선순위로 삼는다.
• 실행 시점 및 인프라 수준의 침해로부터 AI/ML 파이프라인을 보호하기 위해 시스템 수준의 보안을 조사한다.
• 적대자가 악용할 수 있는 잠재적 취약성을 지닌 AI/ML 시스템 아키텍처를 분석한다.
• 국방 및 정보 기관 간 협력을 촉진하여 R&D 노력과 악성 위협 정보 공유를 통합한다.
• AAAI 및 기타 학술 행사에서의 기존 연구를 활용하여 실용적 방어 수단 개발을 가속화한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 입력 조작에 의해 예측을 왜곡당할 수 있는 AI/ML 모델을 강건하게 만들 수 있는가?
• RQ2 AI/ML 파이프라인의 침해로부터 보호하기 위해 가장 효과적인 시스템 수준의 보안 제어는 무엇인가?
• RQ3 AI/ML 시스템 아키텍처에서 어떤 설계 패턴이 악용 가능한 취약성을 유발하는가?
• RQ4 다기관 간 협력은 확실한 AI/ML 능력의 개발 및 구현을 어떻게 향상시킬 수 있는가?
• RQ5 국방 응용 분야에서 AI/ML 시스템의 내구성을 평가하기 위해 적용 가능한 측정 가능한 신뢰성 지표는 무엇인가?

주요 결과

• A2I 워킹그룹은 국방 AI/ML 시스템의 핵심적 보안 과제를 해결하기 위한 공동 R&D 프레임워크를 성공적으로 구축했다.
• AI 신뢰성 확보, 시스템 보안, 아키텍처 취약성에 대한 초도 집중 연구를 통해 방어가 필요한 주요 위협 표면을 특정했다.
• 논문은 적대적 AI/ML 공격에 대비한 효과적인 방어 수단 개발을 위해 통합된 다기관 연구가 필수적임을 입증한다.
• 이니셔티브는 이미 AAAI FSS-20에서 연구 성과를 발표하여 정부 및 공공 부문 AI 공동체에서의 초기 수용과 검증을 이끌었다.
• 이 프레임워크는 국가 안보 목표를 직접 뒷받침하는 고영향도 연구 분야의 우선순위를 정할 수 있도록 한다.
• 이 작업은 민감한 국방 및 정보 응용 분야에서 AI/ML에 대한 표준화된 보증 관행을 개발하는 기반을 마련한다.