[論文レビュー] Practical Machine Learning Safety: A Survey and Primer

Sina Mohseni, Haotao Wang+4 more|arXiv (Cornell University)|Jun 9, 2021

Adversarial Robustness in Machine Learning参考文献 289被引用数 9

ひとこと要約

この論文は、自律走行車両などの安全が重要なシステムにおける実用的で安全で信頼性の高い機械学習（ML）アプリケーションを向上させるための実用的で実践的な機械学習技術を調査・整理している。状態の最新技術を解釈可能性、敵対的ロバストネス、分布シフトなどの脆弱性に対応する安全戦略にマッピングし、MLの信頼性を高めるための主要な研究ギャップと有望な解決策を特定している。

ABSTRACT

The open-world deployment of Machine Learning (ML) algorithms in safety-critical applications such as autonomous vehicles needs to address a variety of ML vulnerabilities such as interpretability, verifiability, and performance limitations. Research explores different approaches to improve ML dependability by proposing new models and training techniques to reduce generalization error, achieve domain adaptation, and detect outlier examples and adversarial attacks. In this paper, we review and organize practical ML techniques that can improve the safety and dependability of ML algorithms and therefore ML-based software. Our organization maps state-of-the-art ML techniques to safety strategies in order to enhance the dependability of the ML algorithm from different aspects, and discuss research gaps as well as promising solutions.

研究の動機と目的

• 実世界のML導入における安全性と信頼性を向上させる実用的機械学習技術を特定・整理すること。
• 敵対的攻撃や分布シフトなどの脆弱性を軽減するための具体的な安全戦略に、最新のML手法をマッピングすること。
• ML安全分野における現在の研究ギャップを分析し、今後の研究の有望な方向性を提案すること。
• 安全が重要な分野におけるより信頼性が高く、検証可能で耐障害性の高いMLベースのソフトウェアの開発を支援すること。

提案手法

• モデルの信頼性、解釈可能性、耐障害性を向上させるために焦点を当てた既存のML技術を体系的にレビューする。
• 敵対的訓練、不確実性推定、ドメイン適応などの安全戦略に応じて技術を分類する。
• モンテカルロドロップアウトや分布モデルなどの具体的なML手法を、外れ値検出や性能検証などの安全が重要な要件にマッピングする。
• 一般化誤差の低減および分布シフト下でのモデル行動の改善能力に基づいて、技術を評価する。
• 特に検証、解釈可能性、リアルタイムでの導入制約において、現在のアプローチのギャップを特定する。

実験結果

リサーチクエスチョン

• RQ1 どの機械学習技術が、敵対的例や分布シフトに対して最も効果的にモデルの耐障害性を向上させるか？
• RQ2 安全認証を支援するために、展開済みのMLシステムにおける解釈可能性と検証可能性をどのように向上できるか？
• RQ3 現在のML安全技術が、現実世界のオープンワールド環境において直面する主な制限要因は何か？
• RQ4 識別されたML信頼性に関する研究ギャップを埋めるために、どの新規手法が最も有望か？

主な発見

• 不確実性推定と敵対的訓練の統合は、分布シフト下でもモデルの耐障害性を顕著に向上させる。
• モンテカルロドロップアウトや分布学習などの技術は、安全が重要な文脈におけるモデルの解釈可能性と信頼性を高める。
• 現在の手法は、高リスクの応用分野における形式的検証とリアルタイムでの性能保証において依然として課題を抱えている。
• ドメイン適応と外れ値検出技術は強く有望であるが、オープンワールド環境でのさらなる検証が必要である。