[論文レビュー] On Tractable Representations of Binary Neural Networks

Weijia Shi, Andy Shih+2 more|arXiv (Cornell University)|Apr 5, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用数 7

ひとこと要約

本稿では、二値ニューラルネットワークを扱いやすいブール回路（特に順序付き二分決定図（OBDD）および文の決定図（SDD））として表現する知識コンパイル手法を提案する。これにより、モデル動作の形式的検証および説明が可能になる。本稿では、個々のニューロンをコンパactで扱いやすい表現に変換する擬似多項式時間アルゴリズムを導入し、高精度かつ低メモリオーバーヘッドで手書き数字分類タスクにおける妥当性と頑健性分析を実証する。

ABSTRACT

We consider the compilation of a binary neural network's decision function into tractable representations such as Ordered Binary Decision Diagrams (OBDDs) and Sentential Decision Diagrams (SDDs). Obtaining this function as an OBDD/SDD facilitates the explanation and formal verification of a neural network's behavior. First, we consider the task of verifying the robustness of a neural network, and show how we can compute the expected robustness of a neural network, given an OBDD/SDD representation of it. Next, we consider a more efficient approach for compiling neural networks, based on a pseudo-polynomial time algorithm for compiling a neuron. We then provide a case study in a handwritten digits dataset, highlighting how two neural networks trained from the same dataset can have very high accuracies, yet have very different levels of robustness. Finally, in experiments, we show that it is feasible to obtain compact representations of neural networks as SDDs.

研究の動機と目的

• 二値ニューラルネットワークの意思決定関数を扱いやすいブール回路にコンパイルすることで、その意思決定の形式的検証と説明を可能にすること。
• シンボリックで知識コンパイルに基づく手法を用いて、二値ニューラルネットワークにおける頑健性分析の課題に取り組むこと。
• 整数重みとステップ活性化関数を有するニューロンに対して、効率的かつスケーラブルなコンパイルアルゴリズムを開発すること。
• 実世界の分類タスクにおいて、モデルの精度、頑健性、回路サイズのトレードオフを実験的に評価すること。
• SDDを用いて、複雑なモデルですらもコンパクトで人間が解釈可能なニューラルネットワークの表現が可能であることを示すこと。

提案手法

• 入力が0/1で、ステップ活性化関数を用いることで、二値ニューラルネットワークの各ニューロンをブール関数に変換し、完全にブール的な計算を実現する。
• 個々のニューロンをOBDDまたはSDDにコンパイルするための擬似多項式時間アルゴリズムを適用し、時間および空間計算量がO(nW)で抑えられることを保証する。ここでnは入力サイズ、Wは重みの最大絶対値である。
• 知識コンパイル技術を用いて、ニューラルネットワークのブール関数を、効率的なクエリが可能な扱いやすい回路形式（SDD）に変換する。
• 入力位置としきい値でインデックス付けされた部分分類器の行列を用いた動的計画法により、OBDD表現を効率的に構築する。
• 頑健性分析のための新しいクエリを導入し、インスタンスベースおよびモデルベースの頑健性を、モデルカウンティングと回路の扱いやすさを活用して評価する。
• 手書き数字データセットを用いて手法を検証し、同じデータセットで学習された2つの高精度なモデルの間で、回路ベースの分析により異なる頑健性特性が明らかになった。

実験結果

リサーチクエスチョン

• RQ1 0/1の入力とステップ活性化関数を有する二値ニューラルネットワークは、効率的な推論と検証を可能にする扱いやすいブール回路にコンパイル可能か？
• RQ2 提案されたニューロンコンパイルのための擬似多項式時間アルゴリズムは、入力サイズと重み精度の増加に伴いどのようにスケーリングするか？
• RQ3 扱いやすい回路表現は、モデルの精度を保持しつつ、どの程度まで頑健性分析を可能にするか？
• RQ4 同じデータセットで学習された2つの高精度な二値ニューラルネットワークは、コンパイル済み回路を用いた分析によって、どの程度異なる頑健性を示すか？
• RQ5 SDDを用いて、二値ニューラルネットワークのコンパクトで人間が解釈可能な表現を構築することは可能か？

主な発見

• 提案された擬似多項式時間アルゴリズムは、O(nW)のサイズでOBDDにニューロンをコンパイルすることに成功し、重み精度が固定されている場合、数百の入力を有するニューロンに対しても扱いやすい表現が可能であることを示した。
• 実験の結果、SDDによる二値ニューラルネットワークの表現はコンパクトであり、4桁の精度で成功裏にコンパイル可能であり、97.8％の高精度を維持した。
• 同じデータセットで学習された2つの高精度な二値ニューラルネットワークは、回路ベースの分析により顕著に異なる頑健性を示したが、性能は類似していた。
• 4桁を超える重み精度に拡大すると、メモリオーバーフローのためOBDDの構築に失敗し、表現サイズが指数関数的に増加することが判明した。
• 本手法により、モデルカウンティングを活用したモデルベースの頑健性クエリが可能となり、充足可能性（SAT）のようなNP完全なクエリよりも表現力が高く、コンパイル済み回路においては扱いやすい。
• 事例研究により、SDDへの知識コンパイルが、実際の二値ニューラルネットワークの形式的検証と説明のための実用的で有効な道筋を提供することが確認された。