[論文レビュー] Towards a Robust and Trustworthy Machine Learning System Development.

Pulei Xiong, Scott Buffett+4 more|arXiv (Cornell University)|Jan 8, 2021

Information and Cyber Security参考文献 126被引用数 4

ひとこと要約

本稿は、脅威モデル化、セキュリティ工学、プライバシー保護、ユーザーチャンスを統合することで、信頼性があり頑健な機械学習（ML）システムの開発を体系的に行うフレームワークを提案する。視覚的メタモデルを導入し、安全なML開発を標準化・ガイド化することで、包括的で実行可能なベストプラクティスと、モデルの頑健性とユーザーチャンスの相互作用に関する洞察を提供し、既存のサーベイを凌駕する。

ABSTRACT

Machine Learning (ML) technologies have been widely adopted in many mission critical fields, such as cyber security, autonomous vehicle control, healthcare, etc. to support intelligent decision-making. While ML has demonstrated impressive performance over conventional methods in these applications, concerns arose with respect to system resilience against ML-specific security attacks and privacy breaches as well as the trust that users have in these systems. In this article, firstly we present our recent systematic and comprehensive survey on the state-of-the-art ML robustness and trustworthiness technologies from a security engineering perspective, which covers all aspects of secure ML system development including threat modeling, common offensive and defensive technologies, privacy-preserving machine learning, user trust in the context of machine learning, and empirical evaluation for ML model robustness. Secondly, we then push our studies forward above and beyond a survey by describing a metamodel we created that represents the body of knowledge in a standard and visualized way for ML practitioners. We further illustrate how to leverage the metamodel to guide a systematic threat analysis and security design process in a context of generic ML system development, which extends and scales up the classic process. Thirdly, we propose future research directions motivated by our findings to advance the development of robust and trustworthy ML systems. Our work differs from existing surveys in this area in that, to the best of our knowledge, it is the first of its kind of engineering effort to (i) explore the fundamental principles and best practices to support robust and trustworthy ML system development; and (ii) study the interplay of robustness and user trust in the context of ML systems.

研究の動機と目的

• ミッションクリティカルな応用分野におけるセキュリティ攻撃およびプライバシー漏洩に対するMLシステムのレジリエンスに関する懸念が高まる中で、それに対処すること。
• 既存のサーベイをはるかに超えて、包括的で工学的アプローチに基づく、頑健で信頼性のあるMLシステム開発のための包括的かつ実装可能な方法を開発すること。
• MLシステムにおけるモデルの頑健性とユーザーチャンスの相互作用を調査すること。
• 構造的で体系的な脅威分析とセキュリティ設計をガイドするための標準化された視覚的メタモデルを構築すること。
• 信頼性のあるMLシステムの発展を促進するための今後の研究方向性を特定・提案すること。

提案手法

• MLの頑健性、信頼性、プライバシー保護型ML、ユーザーチャンス分野における最先端技術について、体系的なサーベイを実施すること。
• 実務応用を念頭に置いた安全なMLシステム開発分野の知識体系を視覚的に表現するメタモデルを設計すること。
• メタモデルを用いて、古典的な脅威分析およびセキュリティ設計プロセスを拡張し、一般的なMLシステムにおけるセキュリティ工学のスケーリングを実現すること。
• 攻撃的・防御的技術、プライバシー保護手法、信頼性評価を統合した包括的な開発フレームワークを構築すること。
• 構造的な脅威モデル化とセキュリティ設計の原則に従い、実世界のMLシステム開発をメタモデルでガイドすること。
• 多様なML応用分野において、頑健性と信頼性を実証的に評価すること。

実験結果

リサーチクエスチョン

• RQ1 実世界の応用において、MLシステムの頑健性とユーザーチャンスをどのように体系的かつ統合的に設計できるか？
• RQ2 セキュリティ工学の観点から、信頼性のあるMLシステムを構築するための基本的原則とベストプラクティスは何か？
• RQ3 標準化された視覚的メタモデルは、安全なMLシステムの設計および評価をどのように改善できるか？
• RQ4 MLシステムの主な脅威は何か、そして構造的な脅威モデル化を通じてどのように体系的に緩和できるか？
• RQ5 頑健で信頼性のあるMLシステムの開発をさらに進めるために、どのような今後の研究方向性が必要か？

主な発見

• 提案されたメタモデルにより、MLシステム開発における体系的かつスケーラブルな脅威分析とセキュリティ設計が可能となり、一貫性と包括性が向上した。
• 頑健性とユーザーチャンスを共通設計の原則として統合することで、全体的なシステムの信頼性と受容性が向上した。
• プライバシー保護型機械学習手法は、医療やサイバーセキュリティ分野において、信頼性のあるMLシステムの不可欠な構成要素である。
• モデルの頑健性に関する実証的評価から、防御的技術は多様な脅威シナリオにおいて厳密に検証される必要があることが明らかになった。
• 本研究では、技術的頑健性とユーザーパーソナリティ・信頼の一致に欠ける現状の課題が同定された。
• 本フレームワークは、包括的かつ工学的アプローチに基づく信頼性のあるMLシステム開発のための今後の研究基盤を提供する。