[論文レビュー] Towards Characterizing Adversarial Defects of Deep Learning Software from the Lens of Uncertainty

Xiyue Zhang, Xiaofei Xie+6 more|arXiv (Cornell University)|Apr 24, 2020

Adversarial Robustness in Machine Learning参考文献 55被引用数 5

ひとこと要約

本論文は、予測信頼度（PCS）と変動比（VRO）を、健全な例と悪意ある例の両方において分析することにより、深層学習ソフトウェアにおける悪意ある欠陥を不確実性駆動型で特徴付ける手法を提案する。既存のデータには2つの主要な不確実性パターンが存在することを同定し、GAベースのテスト生成技術を導入して、希少で検出が難しい悪意ある例を生成した。この手法により、既存の防御の成功率が35%低下し、耐性評価における多様なデータの必要性が浮き彫りになった。

ABSTRACT

Over the past decade, deep learning (DL) has been successfully applied to many industrial domain-specific tasks. However, the current state-of-the-art DL software still suffers from quality issues, which raises great concern especially in the context of safety- and security-critical scenarios. Adversarial examples (AEs) represent a typical and important type of defects needed to be urgently addressed, on which a DL software makes incorrect decisions. Such defects occur through either intentional attack or physical-world noise perceived by input sensors, potentially hindering further industry deployment. The intrinsic uncertainty nature of deep learning decisions can be a fundamental reason for its incorrect behavior. Although some testing, adversarial attack and defense techniques have been recently proposed, it still lacks a systematic study to uncover the relationship between AEs and DL uncertainty. In this paper, we conduct a large-scale study towards bridging this gap. We first investigate the capability of multiple uncertainty metrics in differentiating benign examples (BEs) and AEs, which enables to characterize the uncertainty patterns of input data. Then, we identify and categorize the uncertainty patterns of BEs and AEs, and find that while BEs and AEs generated by existing methods do follow common uncertainty patterns, some other uncertainty patterns are largely missed. Based on this, we propose an automated testing technique to generate multiple types of uncommon AEs and BEs that are largely missed by existing techniques. Our further evaluation reveals that the uncommon data generated by our method is hard to be defended by the existing defense techniques with the average defense success rate reduced by 35\%. Our results call for attention and necessity to generate more diverse data for evaluating quality assurance solutions of DL software.

研究の動機と目的

• 悪意ある例（AEs）と深層学習意思決定における不確実性の関係を調査すること。
• 既存の手法で生成された健全な例（BEs）およびAEsにおける不確実性パターンを同定・分類すること。
• 現在の悪意ある攻撃およびテスト手法が見逃している、まれな入力データパターンを発見・生成すること。
• 生成されたデータが既存の防御機構を回避できるかどうかを評価すること。
• 深層学習ソフトウェアの品質保証における、より多様なデータ生成の推進を提言すること。

提案手法

• 4つのベイジアン不確実性メトリクスと1つのワンショットメトリクス（予測信頼度スコア）の、健全な例と悪意ある例を区別する能力を実験的に評価する。
• PCSと元の予測における変動比（VRO）を、さらなる分析に適した最も効果的なメトリクスとして選定する。
• 最先端の攻撃およびテスト手法から得られたBEsおよびAEsの不確実性パターンを分析し、2つの主要なパターンを同定する：AEsでは低PCS・高VRO、BEsでは高PCS・低VRO。
• 不確実性パターンが一般的でない入力を生成するための遺伝的アルゴリズム（GA）ベースの自動テスト生成手法を提案する。
• 一般的なパターンから逸脱する、不確実性の高い多様性を有するまれなAEsおよびBEsを生成する。
• 生成されたデータを既存の防御技術に対して評価し、その耐性および回避可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なる不確実性メトリクスは、健全な例と悪意ある例を区別する上で、どの程度効果的か？
• RQ2 現在の攻撃およびテスト手法で生成された健全な例と悪意ある例が従う、主要な不確実性パターンは何か？
• RQ3 既存の手法が見逃しているまれな不確実性パターン（特に高VRO・低PCS）はどのようなものか、そしてそれらを体系的に生成できるか？
• RQ4 生成されたまれな入力は、既存の防御機構を回避する上でどの程度効果的か？
• RQ5 不確実性パターンにおけるデータの多様性は、深層学習ソフトウェアの耐性評価にどの程度影響を与えるか？

主な発見

• 予測信頼度スコア（PCS）と元の予測における変動比（VRO）は、健全な例と悪意ある例を区別する上で最も効果的なメトリクスである。
• 既存の悪意ある例および健全な例は、主に2つの共通する不確実性パターンに従う：AEsでは低PCS・高VRO、BEsでは高PCS・低VRO。
• 特に高VRO・低PCSのパターンを含む、多数の不確実性パターンが未解明であり、現在の攻撃およびテスト手法によってほとんど見逃されている。
• 提案されたGAベースのテスト生成手法は、低PCS・高VROを含む多様な不確実性パターンを持つまれな入力を効果的に生成できた。
• この手法で生成されたまれなデータにより、既存の防御技術の平均的な防御成功率が35%低下し、より高い回避可能性が示された。
• 結果から、現在の深層学習の耐性評価はデータの多様性に制限されており、不確実性に配慮したより広範なテストデータ生成の必要性が示された。