[論文レビュー] Finding Invariants in Deep Neural Networks.

Divya Gopinath, Ankur Taly+2 more|arXiv (Cornell University)|Apr 29, 2019

Adversarial Robustness in Machine Learning参考文献 30被引用数 5

ひとこと要約

本論文は、フィードフォワード深層ニューラルネットワークにおける不変性プロパティを、ニューロンの活性化パターンを分析することで自動的に推論する技術を提案する。凸型の入力不変性とレイヤー不変性を抽出することで、モデルの説明可能性、耐性、敵対的攻撃検出、ネットワーク蒸留の向上を図り、MNISTおよびACASXUネットワークにおいて有効性を実証した。

ABSTRACT

We present techniques for automatically inferring invariant properties of feed-forward neural networks. Our insight is that feed forward networks should be able to learn a decision logic that is captured in the activation patterns of its neurons. We propose to extract such decision patterns that can be considered as invariants of the network with respect to a certain output behavior. We present techniques to extract input invariants as convex predicates on the input space, and layer invariants that represent features captured in the hidden layers. We apply the techniques on the networks for the MNIST and ACASXU applications. Our experiments highlight the use of invariants in a variety of applications, such as explainability, providing robustness guarantees, detecting adversaries, simplifying proofs and network distillation.

研究の動機と目的

• フィードフォワードニューラルネットワークにおける一貫した意思決定論理を反映する不変性プロパティを自動的に推論すること。
• 特定の出力に至る入力領域を特徴付ける凸型述語として入力不変性を同定することで、安定したネットワーク行動を捉えること。
• 隠れ層における学習済み特徴を表すレイヤー不変性を抽出すること。
• これらの不変性を用いて、モデルの説明可能性、耐性、検証の向上を図ること。
• MNISTおよびACASXUといった実世界のベンチマークを用いて、実用的検証のための評価を行うこと。

提案手法

• 入力 across におけるニューロンの活性化パターンを分析し、ネットワーク内での繰り返し現れる意思決定論理を同定する。
• 特定の出力に至る入力領域を特徴付ける凸型述語として入力不変性を抽出する。
• 隠れ層における特徴表現を分析することでレイヤー不変性を導出し、不変な構造的パターンを捉える。
• 多面体抽象化と制約解決を用いて、入力空間および隠れ空間における不変性を計算・検証する。
• 不変性を活用して証明の簡略化、敵対的例の検出、ネットワーク蒸留のガイドラインを提供する。
• MNISTおよびACASXUの学習済みネットワークにフレームワークを適用し、実際の不変性抽出と検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 フィードフォワードニューラルネットワークの活性化パターンから、不変性プロパティをどのように自動的に推論できるか？
• RQ2 入力レベルの不変性かレイヤーレベルの不変性のどちらが、ネットワーク行動の説明に効果的に抽出・利用できるか？
• RQ3 これらの不変性が、耐性保証および敵対的例検出の向上にどの程度寄与するか？
• RQ4 不変性は、深層ネットワークの形式的検証および証明構築を簡略化できるか？
• RQ5 抽出された不変性は、大規模なネットワークからの知識蒸留においてどの程度有効か？

主な発見

• 本手法は、MNISTおよびACASXUネットワークにおける安定した意思決定境界を捉える凸型入力不変性を効果的に抽出した。
• レイヤー不変性は、隠れ層における一貫した特徴表現を明らかにし、モデルの説明可能性を支援した。
• 不変性を用いることで、学習済みの不変パターンからの逸脱を特定し、敵対的例の検出を向上させた。
• 抽出された不変性は、ネットワーク行動の検証における複雑性を低減することで、形式的証明の簡略化を可能にした。
• 本手法は、より小さなモデルにおける重要な不変行動の同定と保持を可能にし、ネットワーク蒸留を支援した。
• 実験的評価により、耐性および解釈可能性を含む複数の応用において、不変性の有効性が確認された。