[論文レビュー] Deep Neural Networks as 0-1 Mixed Integer Linear Programs: A Feasibility Study

Matteo Fischetti, Jason Jo|arXiv (Cornell University)|Dec 17, 2017

Adversarial Robustness in Machine Learning参考文献 7被引用数 58

ひとこと要約

本論文は ReLU とプーリングを用いる DNN を 0-1 MILP として定式化し、境界緊縮手法を提案、特徴可視化と敵対的例生成への適用を評価し、MNISTサイズのネットワークで計算結果を示す。

ABSTRACT

Deep Neural Networks (DNNs) are very popular these days, and are the subject of a very intense investigation. A DNN is made by layers of internal units (or neurons), each of which computes an affine combination of the output of the units in the previous layer, applies a nonlinear operator, and outputs the corresponding value (also known as activation). A commonly-used nonlinear operator is the so-called rectified linear unit (ReLU), whose output is just the maximum between its input value and zero. In this (and other similar cases like max pooling, where the max operation involves more than one input value), one can model the DNN as a 0-1 Mixed Integer Linear Program (0-1 MILP) where the continuous variables correspond to the output values of each unit, and a binary variable is associated with each ReLU to model its yes/no nature. In this paper we discuss the peculiarity of this kind of 0-1 MILP models, and describe an effective bound-tightening technique intended to ease its solution. We also present possible applications of the 0-1 MILP model arising in feature visualization and in the construction of adversarial examples. Preliminary computational results are reported, aimed at investigating (on small DNNs) the computational performance of a state-of-the-art MILP solver when applied to a known test case, namely, hand-written digit recognition.

研究の動機と目的

• ReLU およびプーリング活性化を持つ深層ニューラルネットワークを 0-1 MILP として厳密最適化のためにモデリングする動機付け。
• MILP 解法時間を削減するための境界緊縮手法を開発・分析する。
• 特徴可視化と敵対的例生成における MILP モデルの実用的な応用を探る。
• 小規模 DNN に対する 0-1 MILP の計算上の実現可能性を評価し、より大きなネットワークには限界を議論する。

提案手法

• 各 ReLU ユニットを線形制約と二値化活性化変数および指示制約を用いて x=ReLU(w^T y + b) を課す。
• 各層について x^k, s^k 変数を導入し、ReLU 入力の正の部分と負の部分をデカップル化する。
• 平均プーリングの線形化と max プーリングの二値変数を用いてプーリングを組み込む。
• 層ごとに x^k と s^k を最適化して indicator 制約で用いられる上界を tighten する境界緊縮前処理を提供する。
• 層の出力と活性化指示を組み合わせた線形目的関数を用いて、解ける MILP 形式を得る。
• 特定の問題に固有の線形制約を追加することで特徴可視化と敵対的例生成への応用を示す（例: 目標活性関係、入力変更の制限など）。

実験結果

リサーチクエスチョン

• RQ1 0-1 MILP 形式は ReLU およびプーリング活性化を持つ DNN を正確にモデルできるか？
• RQ2 境界緊縮メカニズムは DNN の MILP 解法可能性を大幅に改善するか？
• RQ3 内部ユニットの特徴可視化のために 0-1 MILP モデルをどのように活用できるか？
• RQ4 MILP 形式は入力の変更を制御可能にしつつ、敵対的な例を効率的に生み出せるか？

主な発見

モデル	%solved	%gap	nodes	time (s)
DNN1 (basic model)	100	0.0	1,903	1.0
DNN1 (improved model)	100	0.0	552	0.6
DNN2 (basic model)	97	0.2	77,878	48.2
DNN2 (improved model)	100	0.0	11,851	7.5
DNN3 (basic model)	64	11.6	228,632	158.5
DNN3 (improved model)	100	0.0	20,309	12.1
DNN4 (basic model)	24	38.1	282,694	263.0
DNN4 (improved model)	98	0.7	68,563	43.9
DNN5 (basic model)	7	71.8	193,725	290.9
DNN5 (improved model)	67	11.4	76,714	171.1

• DNNs with ReLUs and pooling のための 0-1 MILP モデルは実現可能で、厳密最適化タスクに対して有用である。
• 境界緊縮前処理は基本モデルと比べて MILP 解法の性能を顕著に向上させる。
• MNIST の小規模 DNN に対して、制約を緩和せずとも多くのインスタンスを数秒で証明可能な最適解へ解けることが多く、特に境界を tighten した場合にはそうなる。
• MILPによる特徴可視化は、ユニットの活性化を最大化する入力パターンを証明可能な最適解として得られ、しばしば認識可能な視覚パターンを伴わない。
• MILP フレームワークは、制御可能な制約を伴う敵対的な例を構築でき、特定の目的/制約の下で少数のピクセル変更で分類を変えられることを示している。
• 大規模なネットワークでは最適解まで解くことが計算的に難しくなる; 実用規模にはよりヒューリスティックなアプローチが必要となる。