[論文レビュー] Refactoring Neural Networks for Verification

David Shriver, Dong Xu+2 more|arXiv (Cornell University)|Aug 6, 2019

Adversarial Robustness in Machine Learning参考文献 46被引用数 7

ひとこと要約

本稿では、知識蒸留を用いて正確性を保持したまま、深層ニューラルネットワーク（DNN）をより単純で検証しやすいアーキテクチャに変換する自動フレームワーク「検証のためのリファクタリング（R4V）」を提案する。開発者が定義したアーキテクチャ変換（例：層の削除や縮小）を適用した後、知識蒸留を実行することで、R4Vは安全で重要なシステムにおけるDNNの検証を高速かつ効果的に行うことを可能にし、検証時間を最大9.4倍短縮する一方で、誤差（MSE < 0.01）を低く保つ。

ABSTRACT

Deep neural networks (DNN) are growing in capability and applicability. Their effectiveness has led to their use in safety critical and autonomous systems, yet there is a dearth of cost-effective methods available for reasoning about the behavior of a DNN. In this paper, we seek to expand the applicability and scalability of existing DNN verification techniques through DNN refactoring. A DNN refactoring defines (a) the transformation of the DNN's architecture, i.e., the number and size of its layers, and (b) the distillation of the learned relationships between the input features and function outputs of the original to train the transformed network. Unlike with traditional code refactoring, DNN refactoring does not guarantee functional equivalence of the two networks, but rather it aims to preserve the accuracy of the original network while producing a simpler network that is amenable to more efficient property verification. We present an automated framework for DNN refactoring, and demonstrate its potential effectiveness through three case studies on networks used in autonomous systems.

研究の動機と目的

• 安全で重要な自律システムに使用される複雑なDNNの検証という増大する課題に対処すること。
• 大規模で複雑なネットワークに対して苦戦する既存のDNN検証ツールのスケーラビリティの限界を克服すること。
• モデルの正確性と検証効率のトレードオフを管理できるようにし、『複雑さの最適領域』を特定すること。
• 予測性能を損なわせることなく、DNNをより単純で検証しやすい形に自動的に変換する、仕様駆動のアプローチを提供すること。
• リファクタされたDNNが高い正確性を維持しながら効率的に検証可能であることを示し、安全で重要なアプリケーションへの導入を支援すること。

提案手法

• 元のDNNに対して、仕様駆動のアーキテクチャ変換を適用し、全結合層や畳み込み層の削除や縮小を含む。
• 変換仕様に基づいて、構造的に妥当で複雑さが低減された新しい単純化DNNアーキテクチャを生成する。
• 元のネットワークの入出力動作を再現するために、知識蒸留を用いて変換済みDNNを訓練する。
• 知識蒸留プロセスを通じて、元の訓練済みDNNから新しい単純化アーキテクチャへと知識を転送し、正確性を保持する。
• オフザシェルの検証ツール（例：ReLUplex、Planet、Neurify）と統合し、検証性能を評価する。
• 複数の変換オプション（例：層の削除、スケーリング）を体系的に探索し、正確性と検証時間の制約を満たすリファクタされたネットワークを同定する。

実験結果

リサーチクエスチョン

• RQ1 自動DNNリファクタリングは、安全で重要なシステムにおいて、許容可能な正確性を維持したまま検証時間を短縮できるか？
• RQ2 どのアーキテクチャ変換が、DNNの複雑さ、検証速度、予測正確性の間で最も効果的なトレードオフをもたらすか？
• RQ3 知識蒸留は、アーキテクチャの単純化後にDNNの動作をどの程度正確に保持できるか？
• RQ4 安全で重要なシステムに使用される異なるDNNにおいて、正確性と検証予算に基づく『複雑さの最適領域』はどのように変化するか？
• RQ5 R4Vは、事前の分野特化知識や手動チューニングを必要とせずに、検証可能なDNNの発見を可能にするか？

主な発見

• R4Vは、DAVE-2ネットワークの検証時間を最大9.4倍短縮した一方で、元のモデルと比較してMSEが0.008に留まった。
• リファクタされたネットワーク 01___56789Aは、検証時間に6.3倍の高速化を達成し、10のすべての性質が真として正しく検証された。
• 16個のリファクタされたDAVE-2ネットワークのうち3つが、正確性（MSE < 0.01）と検証時間（1つの性質あたり3時間未満）の両方の基準を満たした。
• 元のDAVE-2ネットワークは、1つの性質の検証に10,000秒以上を要し、すべての性質に対して「未知」を返したため、スケーラビリティに著しい問題を示した。
• Neurifyは、全結合層を一切持たないアーキテクチャ 0123456____ では失敗した。これは、特定のリファクタされた構造を処理できないツール固有の制限を示している。
• 本研究では、R4Vが、事前の分野知識がなくても正確性と検証可能性のトレードオフ領域を効果的に探索可能であることを示した。