[論文レビュー] Towards Practical Verification of Machine Learning: The Case of Computer Vision Systems

Kexin Pei, Zhu, Linjie+4 more|arXiv (Cornell University)|Dec 5, 2017

Adversarial Robustness in Machine Learning参考文献 35被引用数 71

ひとこと要約

本論文は、VeriVis というブラックボックス検証フレームワークを提案し、実世界の変換の下で計算機ビジョンシステムの安全性特性を検証し、数千の違反を発見するとともに、部分検証と再学習によって違反を減らすことを可能にする。

ABSTRACT

Due to the increasing usage of machine learning (ML) techniques in security- and safety-critical domains, such as autonomous systems and medical diagnosis, ensuring correct behavior of ML systems, especially for different corner cases, is of growing importance. In this paper, we propose a generic framework for evaluating security and robustness of ML systems using different real-world safety properties. We further design, implement and evaluate VeriVis, a scalable methodology that can verify a diverse set of safety properties for state-of-the-art computer vision systems with only blackbox access. VeriVis leverage different input space reduction techniques for efficient verification of different safety properties. VeriVis is able to find thousands of safety violations in fifteen state-of-the-art computer vision systems including ten Deep Neural Networks (DNNs) such as Inception-v3 and Nvidia's Dave self-driving system with thousands of neurons as well as five commercial third-party vision APIs including Google vision and Clarifai for twelve different safety properties. Furthermore, VeriVis can successfully verify local safety properties, on average, for around 31.7% of the test images. VeriVis finds up to 64.8x more violations than existing gradient-based methods that, unlike VeriVis, cannot ensure non-existence of any violations. Finally, we show that retraining using the safety violations detected by VeriVis can reduce the average number of violations up to 60.2%.

研究の動機と目的

• 自動運転システム、医療診断などの安全 critical 分野における機械学習システムの堅牢な検証の必要性を喚起する。
• 現実的な攻撃者の能力の下での入力-出力の安全性特性のための汎用フレームワークを定義する。
• 最新のビジョンシステム上の安全性特性をブラックボックス分析を用いて検証するために VeriVis を開発する。
• 複数の DNN、商用 API、自動運転車モデルを横断して評価することでスケーラビリティを示す。

提案手法

• T(I;c) という変換を用いた入力-出力空間における機械学習の安全性特性の形式的フレームワークを提案する。
• 画像変換を Dependent Pixels (DP) と Dependence Function (DF) に分解して空間削減を可能にする。
• 一意の出力を逃さずに変換パラメータ空間を有限集合へ削減するための臨界パラメータ値を導入する。
• ブラックボックスの動的解析アプローチを適用して、12 の変換と 15 のビジョンシステムに渡って特性を検証する。
• 現実的な変換下での一意な出力数が入力サイズに対して多項式であることを示し、スケーラブルな検証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス手法を用いてコンピュータビジョンシステム上で検証可能な実世界の安全性特性は何か？
• RQ2 検証保証を失うことなく、画像変換の入力空間をどのように削減できるか？
• RQ3 VeriVis は多様なビジョンモデルや API にわたって安全性特性の違反をどの程度検出できるか？
• RQ4 VeriVis が検出した違反を再学習に活用することで、将来の違反を減らしロバスト性を向上させることができるか？

主な発見

• VeriVis は ImageNet 分類器を6つ、商用 APIを5つ、自動運転車モデルを4つ含む15のビジョンシステム全体で数千の安全性特性違反を検出する。
• VeriVis は既存の勾配ベース手法より最大で 64.8 倍多くの違反を識別する。
• 平均して VeriVis はテスト画像のおよそ 31.7% について検証可能な安全性特性を検証できる。
• 違反生成データを用いた再学習により、平均違反数を最大で 60.2% 減少させる。
• 評価は 12 の安全性特性と 15 のシステムを網羅しており、手法の適用範囲の広さを示している。