[論文レビュー] NPC: Neuron Path Coverage via Characterizing Decision Logic of Deep Neural Networks

Xiaofei Xie, Tianlin Li+5 more|arXiv (Cornell University)|Mar 24, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、深層ニューラルネットワーク（DNN）の解釈可能なテスト基準であるNPC（Neuron Path Coverage）を提案する。NPCは、臨界ニューロンの活性化から導出される意思決定グラフを用いて意思決定論理をモデル化する。このグラフにおける制御フローおよびデータフロー経路を分析することで、SNPC（制御フローに基づく）およびANPC（データフローに基づく）という2つの経路カバレッジのバリエーションを用いてテストの十分性を測定し、欠陥検出およびモデルの公平性と強い相関があることを示した。

ABSTRACT

Deep learning has recently been widely applied to many applications across different domains, e.g., image classification and audio recognition. However, the quality of Deep Neural Networks (DNNs) still raises concerns in the practical operational environment, which calls for systematic testing, especially in safety-critical scenarios. Inspired by software testing, a number of structural coverage criteria are designed and proposed to measure the test adequacy of DNNs. However, due to the blackbox nature of DNN, the existing structural coverage criteria are difficult to interpret, making it hard to understand the underlying principles of these criteria. The relationship between the structural coverage and the decision logic of DNNs is unknown. Moreover, recent studies have further revealed the non-existence of correlation between the structural coverage and DNN defect detection, which further posts concerns on what a suitable DNN testing criterion should be. In this paper, we propose the interpretable coverage criteria through constructing the decision structure of a DNN. Mirroring the control flow graph of the traditional program, we first extract a decision graph from a DNN based on its interpretation, where a path of the decision graph represents a decision logic of the DNN. Based on the control flow and data flow of the decision graph, we propose two variants of path coverage to measure the adequacy of the test cases in exercising the decision logic. The higher the path coverage, the more diverse decision logic the DNN is expected to be explored. Our large-scale evaluation results demonstrate that: the path in the decision graph is effective in characterizing the decision of the DNN, and the proposed coverage criteria are also sensitive with errors including natural errors and adversarial examples, and strongly correlated with the output impartiality.

研究の動機と目的

• 既存のDNN構造的カバレッジ基準に見られる解釈不能性と、実際の意思決定論理との相関の低さという課題に対処する。
• ニューロン活性化に基づくカバレッジ（例：ニューロンカバレッジ）の限界を克服し、DNNの意思決定プロセスを体系的な表現でモデル化する。
• DNNの制御フローおよびデータフローに基づくテスト十分性基準を構築し、多様な意思決定行動をよりよく捉える。
• カバレッジを実際の意思決定論理に合わせることで、自然な誤りおよび対策的攻撃に対するテストの感受性を向上させる。
• テストカバレッジとモデル行動との間に明確で解釈可能な関係を確立し、より体系的かつ意味のあるDNNテストを可能にする。

提案手法

• 訓練データからの活性化パターンに基づいて臨界ニューロンを特定することで、DNNから意思決定グラフを構築する。
• 意思決定グラフ内の経路としてDNNの意思決定論理をモデル化し、各経路は層を跨るニューロン活性化の順序を表す。
• 制御フロー経路に基づいてSNPC（構造的ニューロン経路カバレッジ）を定義し、テスト入力が異なる意思決定経路をどれだけカバーしているかを測定する。
• データフロー経路に基づいてANPC（活性化ベースのニューロン経路カバレッジ）を定義し、臨界意思決定経路に沿った活性化値の多様性を測定する。
• 重要なニューロンからの活性化値のクラスタリングを用いて、代表的な意思決定経路をグループ化・同定する。
• 意思決定グラフと経路カバレッジ基準を自動テストパイプラインに統合し、カバレッジを最大化するためのテストケース生成を支援する。

実験結果

リサーチクエスチョン

• RQ1 DNN内の意思決定経路は、意思決定論理をモデル化するためのグラフ構造として効果的に抽出・表現可能か？
• RQ2 意思決定グラフ内の制御フローおよびデータフロー経路は、DNNの実際の動作および耐性にどのように関連しているか？
• RQ3 提案された経路カバレッジ（SNPCおよびANPC）は、欠陥検出（自然な誤りおよび対策的攻撃を含む）とどの程度相関しているか？
• RQ4 NPCの解釈可能性は、従来のニューロン活性化ベースのカバレッジと比較して、テスト十分性の理解をどの程度向上させるか？
• RQ5 経路カバレッジ基準は、DNNのより多様で効果的なテストケースの生成をどのように支援できるか？

主な発見

• 意思決定グラフは、層を跨る臨界ニューロンの活性化経路をモデル化することで、DNNの意思決定論理を効果的に捉えている。
• SNPCおよびANPCは自然な誤りおよび対策的攻撃に対して強く感受性を示し、モデル欠陥の検出における有効性を示している。
• NPCはモデル出力の公平性と高い相関を示しており、公平性および耐性の評価における有用性を示唆している。
• 経路ベースのカバレッジ基準は、層間の論理的依存関係をモデル化しているため、従来のニューロンカバレッジを上回り、実際の意思決定行動をよりよく反映している。
• 評価では、高い経路カバレッジが多様な意思決定論理の探索を促進し、テストの十分性を向上させることを示した。
• NPCは解釈可能であり、どの意思決定経路が未十分にテストされているかを明確に示しており、標的的なテストケース生成を可能にする。