[논문 리뷰] Towards a Robust and Trustworthy Machine Learning System Development.

Pulei Xiong, Scott Buffett외 4명|arXiv (Cornell University)|2021. 01. 08.

Information and Cyber Security참고 문헌 126인용 수 4

한 줄 요약

이 논문은 위협 모델링, 보안 공학, 개인정보 보호 및 사용자 신뢰를 통합함으로써 강건하고 신뢰할 수 있는 기계학습 시스템을 개발하기 위한 체계적인 프레임워크를 제안한다. 시각적 메타모델을 도입하여 보안 기반 기계학습 개발을 표준화하고 이행하며, 기존의 종합적 서베이를 뛰어넘어 실행 가능한 최선의 실천 방법과 모델의 강건성과 사용자 신뢰 간의 상호작용에 대한 통찰을 제공한다.

ABSTRACT

Machine Learning (ML) technologies have been widely adopted in many mission critical fields, such as cyber security, autonomous vehicle control, healthcare, etc. to support intelligent decision-making. While ML has demonstrated impressive performance over conventional methods in these applications, concerns arose with respect to system resilience against ML-specific security attacks and privacy breaches as well as the trust that users have in these systems. In this article, firstly we present our recent systematic and comprehensive survey on the state-of-the-art ML robustness and trustworthiness technologies from a security engineering perspective, which covers all aspects of secure ML system development including threat modeling, common offensive and defensive technologies, privacy-preserving machine learning, user trust in the context of machine learning, and empirical evaluation for ML model robustness. Secondly, we then push our studies forward above and beyond a survey by describing a metamodel we created that represents the body of knowledge in a standard and visualized way for ML practitioners. We further illustrate how to leverage the metamodel to guide a systematic threat analysis and security design process in a context of generic ML system development, which extends and scales up the classic process. Thirdly, we propose future research directions motivated by our findings to advance the development of robust and trustworthy ML systems. Our work differs from existing surveys in this area in that, to the best of our knowledge, it is the first of its kind of engineering effort to (i) explore the fundamental principles and best practices to support robust and trustworthy ML system development; and (ii) study the interplay of robustness and user trust in the context of ML systems.

연구 동기 및 목표

• 임무 중심 응용 분야에서 기계학습 시스템의 보안 공격 및 개인정보 유출에 대한 강건성에 대한 점점 증가하는 우려를 해결하기 위해.
• 기존의 종합적 서베이를 뛰어넘어, 보다 포괄적이고 공학 중심의 접근 방식을 통해 강건하고 신뢰할 수 있는 기계학습 시스템 개발을 위해.
• 기계학습 시스템에서 모델의 강건성과 사용자 신뢰 간의 상호작용을 탐구하기 위해.
• 기계학습 개발에서 체계적인 위협 분석 및 보안 설계를 안내하기 위한 표준화된 시각적 메타모델을 만들기 위해.
• 향후 기계학습 시스템의 강건성과 신뢰성 향상을 위한 연구 방향을 규명하고 제안하기 위해.

제안 방법

• 기계학습의 강건성, 신뢰성, 개인정보 보호 기반 기계학습, 사용자 신뢰 분야의 최신 기술에 대한 체계적 서베이 수행.
• 실제 적용을 위해 보안 기반 기계학습 시스템 개발 분야의 지식 체계를 시각적으로 표현하는 메타모델 설계.
• 메타모델을 활용해 고전적 위협 분석 및 보안 설계 프로세스를 확장하여 일반 기계학습 시스템에서 보안 공학의 스케일업을 가능하게 하기.
• 공격 기법과 방어 기법, 개인정보 보호 방법, 신뢰 평가 기법을 통합한 유일한 개발 프레임워크에 통합하기.
• 구조화된 위협 모델링 및 보안 설계 원칙을 기반으로 실제 기계학습 시스템 개발에 메타모델을 적용하여 안내하기.
• 다양한 기계학습 응용 분야에서 강건성과 신뢰성의 실증적 평가를 수행하여 검증하기.

실험 결과

연구 질문

• RQ1 실제 응용 분야에서 기계학습 시스템의 강건성과 사용자 신뢰를 어떻게 체계적으로 함께 설계할 수 있는가?
• RQ2 보안 공학 관점에서 신뢰할 수 있는 기계학습 시스템을 구축하기 위한 기본 원칙과 최선의 실천 방법은 무엇인가?
• RQ3 표준화된 시각적 메타모델은 보안 기반 기계학습 시스템의 설계 및 평가를 어떻게 향상시킬 수 있는가?
• RQ4 기계학습 시스템의 주요 위협 요소는 무엇이며, 구조화된 위협 모델링을 통해 어떻게 체계적으로 완화할 수 있는가?
• RQ5 강건하고 신뢰할 수 있는 기계학습 시스템 개발을 향상시키기 위해 필요한 향후 연구 방향은 무엇인가?

주요 결과

• 제안된 메타모델은 기계학습 시스템 개발에서 체계적이고 스케일업 가능한 위협 분석 및 보안 설계를 가능하게 하여 일관성과 완전성을 향상시킨다.
• 강건성과 사용자 신뢰를 공동 설계 원칙으로 통합함으로써 전체 시스템의 신뢰성과 수용도가 향상된다.
• 개인정보 보호 기반 기계학습 기법은 특히 헬스케어 및 사이버보안 분야에서 신뢰할 수 있는 기계학습 시스템의 핵심 구성 요소이다.
• 모델 강건성의 실증적 평가 결과, 방어 기법은 다양한 위협 시나리오 하에서 철저히 검증되어야 함을 시사한다.
• 본 연구는 현재의 관행에서 기술적 강건성와 사용자 인식 및 신뢰 간의 일치 부족을 규명한다.
• 이 프레임워크는 향후 보다 통합적이고 공학 중심의 신뢰할 수 있는 기계학습 시스템 개발을 위한 연구 기반을 제공한다.