[논문 리뷰] SoK: On the Semantic AI Security in Autonomous Driving

Junjie Shen, Ningfei Wang외 11명|arXiv (Cornell University)|2022. 03. 10.

Ethics and Social Impacts of AI인용 수 15

한 줄 요약

이 논문은 자율주행에서 의미적 AI 보안에 대한 체계적인 지식(SoK)을 처음으로 제시하며, 2017~2022년 사이에 출판된 최근 53篇의 논문을 분석하여 핵심 연구 격차를 규명하고, 시스템 수준의 대비 공격 및 방어를 위한 통합적이고 오픈소스이며 시뮬레이션 기반의 평가 플랫폼인 PASS를 제안한다. 연구 결과, 대부분의 공격은 의미적 격차로 인해 시스템 수준에서 실패하며, PASS는 물리적 결과와 시뮬레이션 결과 간 평균 상관관계가 75%에 달하는 재현 가능하고 시나리오에 유연한 평가를 가능하게 한다.

ABSTRACT

Autonomous Driving (AD) systems rely on AI components to make safety and correct driving decisions. Unfortunately, today's AI algorithms are known to be generally vulnerable to adversarial attacks. However, for such AI component-level vulnerabilities to be semantically impactful at the system level, it needs to address non-trivial semantic gaps both (1) from the system-level attack input spaces to those at AI component level, and (2) from AI component-level attack impacts to those at the system level. In this paper, we define such research space as semantic AI security as opposed to generic AI security. Over the past 5 years, increasingly more research works are performed to tackle such semantic AI security challenges in AD context, which has started to show an exponential growth trend. In this paper, we perform the first systematization of knowledge of such growing semantic AD AI security research space. In total, we collect and analyze 53 such papers, and systematically taxonomize them based on research aspects critical for the security field. We summarize 6 most substantial scientific gaps observed based on quantitative comparisons both vertically among existing AD AI security works and horizontally with security works from closely-related domains. With these, we are able to provide insights and potential future directions not only at the design level, but also at the research goal, methodology, and community levels. To address the most critical scientific methodology-level gap, we take the initiative to develop an open-source, uniform, and extensible system-driven evaluation platform, named PASS, for the semantic AD AI security research community. We also use our implemented platform prototype to showcase the capabilities and benefits of such a platform using representative semantic AD AI attacks.

연구 동기 및 목표

• 자율주행(AD)의 의미적 AI 보안 분야에서 AI 컴포넌트의 취약성과 실제 시스템 수준 영향 간 격차를 메우는 종합적인 체계화가 부족한 문제를 해결하기 위함.
• 수직적(AD AI 보안 내부에서) 및 횡방향적(관련 분야와 비교하여)으로 연구를 분석함으로써 현재 연구의 핵심 과학적 격차를 규명하고자 함.
• 다양한 주행 시나리오에서 시스템 기반의 시뮬레이션 기반 테스트를 지원하는 표준화된 오픈소스 평가 플랫폼(PASS)을 개발하고자 함.
• 추적 모듈과 같은 후행 모듈의 강건성으로 인해 기존 공격이 실제 시스템 수준의 영향을 미치지 못함을 입증하고자 함(예: 정지 표지판 오분류).
• 글로벌 CTF 이벤트에서 PASS를 교육적 목적으로 배포함으로써 연구의 민주화, 재현 가능성 및 현실성 향상을 도모하고자 함.

제안 방법

• 보안, AI, 로봇 분야의 최고 권위 있는 학술 대회에서 2017~2022년 사이에 출간된 최근 53篇의 논문을 체계적으로 수집 및 분석함.
• 핵심 보안 연구 요소를 기반으로 한 분류 체계를 제안함: 타깃 AI 컴포넌트, 공격/방어 목표, 공격 벡터, 공격 지식, 방어 구현 가능성, 강건성, 평가 방법론.
• 구성 가능한 주행 시나리오, 차량 동역학, 시스템 수준 메트릭을 지원하는 오픈소스이며 확장 가능한 시뮬레이션 기반 플랫폼인 PASS를 개발함.
• PASS를 활용해 정지 표지판 검출에 대한 대표적 공격(예: SS, RP2, SIB)을 다양한 속도와 추적 행동 조건에서 평가함.
• 물리적 세계의 검출 결과와 시뮬레이션 출력 간의 상관관계를 분석하여 시뮬레이션 정밀도를 검증함으로써 평균 피어슨 상관계수 0.75(유의수준 p < 0.05)를 달성함.
• 유저가 접근하기 쉬운 환경을 제공하기 위해 PASS를 글로벌 CTF 이벤트에 배포하여 사용성 평가 및 피드백 확보함으로써 교육적 가치를 입증하고 클라우드 호스팅 필요성을 확인함.

실험 결과

연구 질문

• RQ1 최근 최고 권위의 논문들에서 나타나는 자율주행의 의미적 AI 보안 분야의 주요 연구 추세와 설계 선택은 무엇인가?
• RQ2 개별 AI 컴포넌트(예: 인식)에 대한 대비 공격이 실제로 시스템 수준의 실패(예: 충돌)로 이어지는 정도는 어느 정도인가?
• RQ3 시스템 입력과 AI 입력 간, 그리고 AI 영향과 시스템 영향 간의 의미적 격차는 실제 AI 보안 공격의 효과성에 어떤 영향을 미치는가?
• RQ4 통합적이고 시뮬레이션 기반의 평가 플랫폼은 자율주행 AI 보안 연구의 재현 가능성, 확장성 및 현실성 향상에 기여할 수 있는가?
• RQ5 시뮬레이션 환경의 정밀도는 자율주행 AI 보안 평가에서 실제 성능과 비교하여 어느 정도 수준인가?

주요 결과

• 정지 표지판 정지 시스템 수준 성공률은 공격 중 유일하게 성공한 경우(10mph에서 SS 공격) 10%에 불과했으며, 빠른 속도(15–30mph)에서는 원래 표지판을 지속적으로 추적함으로써 항상 실패함.
• AI에서 시스템으로의 의미적 격차는 무시할 수 없음: 추적 모듈이 객체 연속성을 유지하는 한, 고도로 효과적인 픽셀 수준 공격도 시스템 행동을 교란하지 못함.
• 시뮬레이션 정밀도는 충분히 높음: 물리적 세계와 시뮬레이션 결과 간 평균 피어슨 상관계수 0.75(p < 0.05)를 확보함.
• PASS를 사용한 글로벌 CTF 이벤트에서 5개 팀 전원이 플랫폼을 유용하다고 평가했으며, 두 팀은 하드웨어 장벽을 줄이기 위해 클라우드 호스팅 접근이 필요하다고 제안함.
• 연구는 평가 방법론의 한계와 표준화 부족을 포함한 6개의 주요 과학적 격차를 규명하였으며, PASS는 이러한 격차를 해결하기 위해 설계됨.
• 현재 자율주행 AI 보안 연구는 시스템 수준의 영향을 충분히 평가하지 못하고 있으며, 향후에는 시스템 기반의 시나리오 인식 평가 프레임워크로의 전환을 촉구함.