[論文レビュー] Characterizing the Decision Boundary of Deep Neural Networks

Hamid Reza Karimi, Tyler Derr+1 more|arXiv (Cornell University)|Dec 24, 2019

Adversarial Robustness in Machine Learning参考文献 38被引用数 48

ひとこと要約

本論文は、自己符号化器ベースの標的敵対例と二値改良を用いて、DNNの決定境界近傍に境界近傍のサンプルを生成するDeepDIGというフレームワークを提案し、入力空間と埋め込み空間の境界の複雑さを特徴づける。

ABSTRACT

Deep neural networks and in particular, deep neural classifiers have become an integral part of many modern applications. Despite their practical success, we still have limited knowledge of how they work and the demand for such an understanding is evergrowing. In this regard, one crucial aspect of deep neural network classifiers that can help us deepen our knowledge about their decision-making behavior is to investigate their decision boundaries. Nevertheless, this is contingent upon having access to samples populating the areas near the decision boundary. To achieve this, we propose a novel approach we call Deep Decision boundary Instance Generation (DeepDIG). DeepDIG utilizes a method based on adversarial example generation as an effective way of generating samples near the decision boundary of any deep neural network model. Then, we introduce a set of important principled characteristics that take advantage of the generated instances near the decision boundary to provide multifaceted understandings of deep neural networks. We have performed extensive experiments on multiple representative datasets across various deep neural network models and characterized their decision boundaries. The code is publicly available at https://github.com/hamidkarimi/DeepDIG/.

研究の動機と目的

• 安全性とセキュリティ応用のために深層ニューラルネットワークの決定境界の研究動機を提示する。
• 決定境界に近いサンプルを生成する方法を開発し、それが実データに似ていることを示す。
• 入力空間と埋め込み空間の決定境界の形状と複雑さを特徴づける。
• 複数のデータセットとモデルにわたる指標と実験的証拠を提供する。

提案手法

• DeepDIG を提案し、3成分パイプラインを用いて2つのクラス間の境界近傍サンプルを生成する。
• コンポーネント I: 再構成と交差エントロピーを組み合わせた自己符号化器ベースの損失により、クラス s からクラス t への標的敵対的サンプルを生成する。
• コンポーネント II: 第一のコンポーネントの出力から逆方向の標的敵対的サンプルを生成し、サンプルを再びクラス s に近づける。
• コンポーネント III: 2つの敵対サンプル間の二分探索を用いて、クラス確率がほぼ等しくなる点（決定境界に近い点）を特定する境界近傍サンプルを精練する。
• 境界関連の指標を定義・計算する： (a) 入力空間の境界の複雑さを、境界近傍サンプル間の軌道に沿った振動で評価、(b) 埋め込み空間の境界の複雑さを、訓練済み線形SVMを用いた埋め込みの線形分離可能性で評価。

実験結果

リサーチクエスチョン

• RQ1 2つのクラス間の決定境界に近いサンプルを事前学習済みDNNでどのように生成できるか。
• RQ2 入力空間と埋め込み空間の決定境界の複雑さを定量化するための有効な指標は何か。
• RQ3 入力空間の境界近傍サンプルは埋め込み空間において同様に有意な構造と対応するか。
• RQ4 提案された境界焦点サンプルは、データセットやアーキテクチャを横断してDNNの決定領域の幾何学的特性を明らかにできるか。

主な発見

• DeepDIG は MNIST、FashionMNIST、CIFAR-10 のペア間で決定境界に近い境界近傍サンプルを生成できる。
• 境界の両側で境界近傍サンプルを生成できるため、境界の幾何を分析可能。
• 埋め込み空間の分析は、埋め込みの線形分離可能性が境界近傍サンプルでも維持されることを示し、埋め込み空間の複雑さ指標を可能にする。
• 2つの埋め込み空間指標（EDC1 と EDC2）は、境界近傍サンプルが分離超平面にどれだけ近いか、線形分類器がどれだけよく分離できるかについて洞察を提供する。
• 実験は、入力空間と埋め込み空間の境界の複雑さ指標が複数のネットワークで一貫していることを示す。