[論文レビュー] Pruning and Slicing Neural Networks using Formal Verification

Ori Lahav, Guy Katz|arXiv (Cornell University)|May 28, 2021

Adversarial Robustness in Machine Learning参考文献 40被引用数 4

ひとこと要約

本稿では、出力の等価性または有界誤差を保ちながらサイズを削減するための、形式的検証に基づくドメインニューラルネットワーク（DNN）のプルーニングおよびスライシングのフレームワークを提案する。SMTに基づく検証を活用することで、位相冗長、kフォワード冗長、および結果保持型の冗長ニューロンを同定し、入力空間を分割するネットワークスライシングを適用することで、正しく形式的保証が得られる形でDNNサイズを最大71%まで削減可能である。

ABSTRACT

Deep neural networks (DNNs) play an increasingly important role in various computer systems. In order to create these networks, engineers typically specify a desired topology, and then use an automated training algorithm to select the network's weights. While training algorithms have been studied extensively and are well understood, the selection of topology remains a form of art, and can often result in networks that are unnecessarily large - and consequently are incompatible with end devices that have limited memory, battery or computational power. Here, we propose to address this challenge by harnessing recent advances in DNN verification. We present a framework and a methodology for discovering redundancies in DNNs - i.e., for finding neurons that are not needed, and can be removed in order to reduce the size of the DNN. By using sound verification techniques, we can formally guarantee that our simplified network is equivalent to the original, either completely, or up to a prescribed tolerance. Further, we show how to combine our technique with slicing, which results in a family of very small DNNs, which are together equivalent to the original. Our approach can produce DNNs that are significantly smaller than the original, rendering them suitable for deployment on additional kinds of systems, and even more amenable to subsequent formal verification. We provide a proof-of-concept implementation of our approach, and use it to evaluate our techniques on several real-world DNNs.

研究の動機と目的

• ヒューリスティックなアーキテクチャ選択によるDNNの不必要に大きなサイズの問題に対処すること。これは、リソース制約のあるデバイスへのデプロイを制限する要因となる。
• ヒューリスティックなプルーニング手法に依存するのではなく、検証技術を用いることで、ニューロンを削除する際に形式的保証を提供すること。
• 「死んだ」ニューロンにとどまらず、位相冗長、kフォワード冗長、および結果保持型のニューロンを含めた冗長性検出を拡張すること。
• プルーニングと入力ドメインスライシングを統合し、より高速な推論を実現するためのサブネットワーク特化を可能にすること。
• 正確性を所定の許容誤差内に維持しつつ、スケーラブルかつ検証可能なDNN圧縮を実現すること。

提案手法

• MarabouというSMTベースのDNN検証ツールを用いた形式的検証により、特定のニューロンを削除してもネットワーク出力が許容誤差範囲内に保たれるかを確認する。
• 4種類の冗長性の定義と検出：死んだニューロン、位相冗長ニューロン、kフォワード冗長ニューロン、結果保持型の冗長ニューロン。
• 入力空間をサブドメインに分割することで入力ドメインスライシングを実施し、各サブネットワークを個別に簡略化する。
• 形式的検証の前にシミュレーションを用いて候補となるニューロンをフィルタリングすることで、検証クエリの数を削減する。
• プルーニングとスライシングを組み合わせ、各サブドメインに対して有効な小規模で特化したDNNの集合を生成する。
• 各サブドメインに対して、最終的な1回の検証クエリでニューロン削除の正しさを検証し、結果保持動作を保証する。

実験結果

リサーチクエスチョン

• RQ1 形式的検証を用いることで、出力の冗長性だけでなく、ネットワーク挙動への寄与の観点からも冗長とされるニューロンを同定・削除できるか？
• RQ2 「死んだ」ニューロンにとどまらず、出力の偏差が有界にとどまる程度の削除が許容されるニューロンの冗長性検出を拡張できるか？
• RQ3 入力ドメインスライシングにより、全体のネットワークでは顕在しない追加の冗長性が発見可能か？
• RQ4 プルーニングとスライシングの組み合わせにより、DNNサイズを顕著に削減できるか、かつ出力忠実度に関する形式的保証が得られるか？
• RQ5 入力サブドメインの複雑さが、達成可能なプルーニング度にどの程度影響を及えるか？

主な発見

• 提案手法は、航空機衝突回避ネットワークにおいて、所定の許容誤差内での出力等価性を維持したまま、DNN全体のサイズを最大71%まで削減した。
• 入力サブドメインの75%において、追加で12.3%のフォワード冗長および結果保持型ニューロンが同定・削除に成功した。
• 一部のサブドメインでは、簡略化パイプラインによりネットワークが線形変換にまで簡略化された。これはスライシングによる完全な線形化を示している。
• 手法が失敗したサブドメインにおいても、成功したケースと同程度の候補ニューロン数が存在しており、候補の質が一貫していることが示された。
• 先行研究がReLUネットワークに限定されるのとは異なり、本手法は特定の活性化関数に依存せず、顕著な圧縮を達成した。
• 本フレームワークは、下位の検証エンジンに依存せず、SMT、LP、抽象解釈に基づく任意のDNN検証ツールと統合可能である。