[논문 리뷰] Explainable Security

Luca Viganò, Daniele Magazzeni|arXiv (Cornell University)|2018. 07. 11.

Adversarial Robustness in Machine Learning인용 수 2

한 줄 요약

이 논문은 DARPA의 XAI 프로그램에서 영감을 얻어, 다양한 이해관계자들이 보다 투명하고 신뢰할 수 있으며 이해하기 쉬운 보안 시스템을 만들기 위한 도전 과제를 해결하기 위해 설명 가능한 보안(XSec)이라는 새로운 범주를 도입한다. 보안 속성, 위협, 취약성, 대응 조치를 설명하는 데 지침을 줄 수 있는 '육 육(Ws)'(누구, 무엇, 어디서, 언제, 왜, 어떻게) 기반의 프레임워크를 제안하며, 설명의 완전성과 보안 위험 사이의 균형을 고려한다.

ABSTRACT

The Defense Advanced Research Projects Agency (DARPA) recently launched the Explainable Artificial Intelligence (XAI) program that aims to create a suite of new AI techniques that enable end users to understand, appropriately trust, and effectively manage the emerging generation of AI systems. In this paper, inspired by DARPA's XAI program, we propose a new paradigm in security research: Explainable Security (XSec). We discuss the ``Six Ws'' of XSec (Who? What? Where? When? Why? and How?) and argue that XSec has unique and complex characteristics: XSec involves several different stakeholders (i.e., the system's developers, analysts, users and attackers) and is multi-faceted by nature (as it requires reasoning about system model, threat model and properties of security, privacy and trust as well as about concrete attacks, vulnerabilities and countermeasures). We define a roadmap for XSec that identifies several possible research directions.

연구 동기 및 목표

• 현대 보안 시스템에 대한 이해와 신뢰의 허점을 해결하기 위해 설명 가능한 보안(XSec)이라는 새로운 연구 범주를 도입함으로써.
• 개발자, 사용자, 공격자, 분석가 등 다양한 이해관계자가 참여하는 복잡하고 다면적인 보안 설명의 성격을 식별하고 체계화함으로써.
• 보안 설명의 '육 육(Ws)'—누구, 무엇, 어디서, 언제, 왜, 어떻게—를 분석하여 XSec의 연구 로드맵을 수립함으로써.
• 특히 적대적 맥락에서 정보 泄露 위험을 감안할 때 설명의 완전성과 정보 泄露 사이의 상충 관계를 탐색함으로써.
• XAI, 형식적 방법, 사회과학의 통찰을 통합하여 설명 가능하고, 신뢰할 수 있으며, 안전한 시스템을 구축함으로써.

제안 방법

• 보안 설명을 체계적으로 분석하고 체계화하기 위해 '육 육(Ws)' 기반의 개념적 프레임워크를 제안함.
• 보안 맥락에 적합하게 설명 가능한 인공지능(XAI)의 기법들을 적응 및 확장하여, 시스템 동작, 위협, 대응 조치에 대한 설명을 제공함.
• 공격자에게 정보 泄露를 방지하기 위해 민감한 세부 정보를 누락시키는 '상대화된' 설명의 필요성을 제기함.
• 다양한 이해관계자에게 보안 추론을 전달하기 위해 형식적 언어, 증명, 계획, 게임화된 모델의 활용을 강조함.
• 사용자 연구를 통해 설명 품질, 정신 모델 이해도, 작업 성과를 측정할 수 있는 평가 방법을 제안함.
• 보안 상충 관계를 고려하여 설명 프로세스의 설계, 테스트, 구현의 중요성을 강조함.

실험 결과

연구 질문

• RQ1 개발자, 사용자, 분석가, 공격자와 같은 다양한 이해관계자를 고려할 때 보안 설명은 어떻게 체계화될 수 있는가?
• RQ2 보안 속성, 위협, 취약성, 대응 조치를 다면적으로 설명할 때의 핵심 특성과 과제는 무엇인가?
• RQ3 어떻게 하면 설명이 정보를 효과적으로 제공하면서도 잠재적 공격자에게 민감한 정보를 泄露하지 않도록 보장할 수 있는가?
• RQ4 형식적 방법, 게임화, 사용자 연구는 효과적인 보안 설명을 설계하는 데 어떤 역할을 하는가?
• RQ5 어떻게 하면 실제 시스템에서 '실제 보안'과 '인식된 보안' 사이의 격차를 메울 수 있는가?

주요 결과

• 설명 가능한 보안(XSec)은 XAI를 보안 분야로 확장하는 데 초점을 맞춘 새로운 복잡한 범주로, 다양한 이해관계자와 시스템 요소를 포함하는 통합적인 연구 프로그램이 필요하다.
• 공격자가 악용할 수 있는 정보를 泄露하지 않도록 보안 설명을 신중하게 상대화해야 하며, 이는 투명성과 보안 사이의 핵심 상충 관계를 야기한다.
• 데이터베이스에서 쿼리 거부와 같은 보안 결정에 대한 설명을 제공하면 사용자 신뢰도와 사용성은 향상되지만, 공격 표면의 세부 정보를 드러내지 않도록 설계되어야 한다.
• 형식적 증명, 공격 시뮬레이션, 게임화된 모델은 비전문가 사용자 및 분석가에게 보안 추론을 효과적으로 전달하는 데 유용한 도구이다.
• 사용자 연구는 설명 품질, 사용자 만족도, 설명을 통해 형성된 정신 모델의 정확도 평가에 필수적이다.
• XAI 기법을 보안 연구와 융합하는 것은 유망한 길이지만, 적대적 맥락과 정보 泄露 위험을 다루기 위한 새로운 방법이 필요하다.