[論文レビュー] Verification of Binarized Neural Networks via Inter-Neuron Factoring

Chih‐Hong Cheng, Georg Nührenberg+2 more|arXiv (Cornell University)|Oct 9, 2017

Adversarial Robustness in Machine Learning参考文献 15被引用数 5

ひとこと要約

この論文は、二値化ニューラルネットワーク（BNNs）の形式的検証フレームワークを提示する。中間ニューロン要因分解を活用することでスケーラビリティを向上させ、BNNの検証を回路符号化によるSATソルブに還元し、同じ層内のニューロン間で計算を共有することで最適化を行う。この手法により、数千のニューロンを持つBNNの検証が可能となり、直接符号化アプローチに比べて顕著なスケーラビリティの向上を実現した。

ABSTRACT

We study the problem of formal verification of Binarized Neural Networks (BNN), which have recently been proposed as a energy-efficient alternative to traditional learning networks. The verification of BNNs, using the reduction to hardware verification, can be even more scalable by factoring computations among neurons within the same layer. By proving the NP-hardness of finding optimal factoring as well as the hardness of PTAS approximability, we design polynomial-time search heuristics to generate factoring solutions. The overall framework allows applying verification techniques to moderately-sized BNNs for embedded devices with thousands of neurons and inputs.

研究の動機と目的

• 安全でクリティカルな埋め込み応用を想定した二値化ニューラルネットワーク（BNNs）の検証におけるスケーラビリティ課題に対処すること。
• 実世界の埋め込みシステムで一般的な、数千の入力および隠れノードを持つBNNにスケーラブルな検証フレームワークを開発すること。
• BNNのバイナリ特性を活用して、同じ層内のニューロン間で共有される計算を要因分解し、検証効率を向上させること。
• 最適な要因分解のNP困難性とPTASにおける近似不能性を形式的に確立し、効率的なヒューリスティクスの設計を導くこと。
• BNNの形式的正しさ保証を可能にし、安全認証および敵対的例の生成を支援すること。

提案手法

• BNNと仕様を組み合わせ回路（ミター）に変換し、ABCのような論理合成ツールを用いて命題論理のSAT問題に符号化する。
• 同じ層内のニューロン間で共通する計算パターンを特定・共有することで、中間ニューロン要因分解を導入し、バイナリ重みと活性化の特性を活用する。
• 理論的困難性の結果（NP困難性およびPTASの近似不能性）に基づいて、多項式時間の探索ヒューリスティクスを設計する。
• ビット単位の算術演算とバイポーラ表現（±1）を用いて、BNNの計算を論理回路に効率的に符号化する。
• SATソルバを活用して、BNNがすべての可能な入力に対して仕様を満たすかどうかを検証する。
• 失敗した検証試行からカウンターアイテムを抽出することで、敵対的入力を生成し、デバッグや再訓練に活用する。

実験結果

リサーチクエスチョン

• RQ1 中間ニューロン要因分解は、BNNの形式的検証におけるスケーラビリティを顕著に向上させることができるか？
• RQ2 BNNにおける最適な要因分解構成を求める計算の複雑さはいかほどか？
• RQ3 多項式時間のヒューリスティクスによる要因分解は、大規模なBNNにおいて実用的な検証性能を達成できるか？
• RQ4 本手法は、浮動小数点ニューラルネットワークの既存の検証手法と比較してどのように異なるか？
• RQ5 本検証フレームワークは、BNNの合成および段階的更新をサポートするために拡張可能か？

主な発見

• BNNにおける最適な中間ニューロン要因分解構成を求める問題はNP困難であり、PTASによる近似も困難であることが示され、ヒューリスティクスの使用が正当化される。
• 提案された多項式時間の要因分解ヒューリスティクスにより、数千の入力およびニューロンを持つBNNの検証が可能となり、直接符号化では不可能であった。
• 同じ層内のニューロン間で計算を共有することで、SAT問題のサイズを削減することで、スケーラビリティを実現した。
• 本手法により、埋め込みシステム向けBNNの形式的検証が可能になり、安全でクリティカルな応用の正しさ保証が可能になった。
• 失敗した検証試行から得たカウンターアイテムを用いて、デバッグや再訓練のための敵対的入力を生成できる。
• 本手法は、単一ニューロン符号化に焦点を当てた既存の研究とは相補的であり、代わりにニューロン間最適化に注力している。