[論文レビュー] An Integer Programming Approach to Deep Neural Networks with Binary Activation Functions

Bubacarr Bah, Jannis Kurtz|arXiv (Cornell University)|Jul 7, 2020

Machine Learning and Algorithms参考文献 33被引用数 8

ひとこと要約

本稿では、バイナリ活性化関数（BDNN）を用いた深層ニューラルネットワークの学習に対して、混合整数線形プログラミング（MILP）の定式化を提案し、古典的整数スolving器を用いてグローバル最適性を達成する。ヒューリスティックなバージョンは、Breast Cancer Wisconsinデータセットにおいて10回のランダムな分割で97.1%の精度を達成し、標準的なReLUベースのDNNを上回ったが、大規模なデータセットでは正確な解法が計算的に高価であることが明らかになった。

ABSTRACT

We study deep neural networks with binary activation functions (BDNN), i.e. the activation function only has two states. We show that the BDNN can be reformulated as a mixed-integer linear program which can be solved to global optimality by classical integer programming solvers. Additionally, a heuristic solution algorithm is presented and we study the model under data uncertainty, applying a two-stage robust optimization approach. We implemented our methods on random and real datasets and show that the heuristic version of the BDNN outperforms classical deep neural networks on the Breast Cancer Wisconsin dataset while performing worse on random data.

研究の動機と目的

• 非微分可能なバイナリ活性化関数を用いた深層ニューラルネットワークの学習を、正確な最適化手法で扱う挑戦に応えること。
• 混合整数線形計画問題（MILP）としての問題再定式化により、BDNN学習におけるグローバル最適性を実現すること。
• 正確な解法が計算的に非現実的となる場合に、スケーラブルな推論のためのヒューリスティックアルゴリズムを開発すること。
• MILPフレームワーク内での2段階ロバスト最適化アプローチを用いて、敵対的攻撃に対する耐性を高めること。
• 合成データおよび実世界のデータセットにおけるBDNNの性能を、標準的なReLUベースのDNNと比較して評価すること。

提案手法

• バイナリ活性化関数をバイナリ変数とビッグM制約を用いてモデル化することで、BDNNを混合整数線形計画問題（MILP）として再定式化する。
• 各層のバイナリ活性化関数に学習可能なしきい値λkを導入し、重みとしきい値の両方をエンドツーエンドで最適化可能にする。
• 反復的にバイナリ変数を固定し、緩和されたMILPを解くことで局所最適解を計算するヒューリスティックアルゴリズムを提案する。
• 入力データの不確実性をロバストな同等形でモデル化することで、敵対的摂動に対する保護を実現する2段階ロバスト最適化モデルを適用する。
• ロバストな定式化は、列と制約の生成アルゴリズムを用いて解かれるが、大規模なインスタンスでは収束が遅い。
• すべてのモデルはランダムデータおよびBreast Cancer Wisconsinデータセット上で実装・テストされ、標準的なReLUベースのDNNと性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 学習可能なしきい値を有するバイナリディープニューラルネットワークを、混合整数プログラミングを用いて正確に学習できるか？
• RQ2 実世界のデータセットにおいて、MILPに基づく正確なBDNNの性能は、標準的なReLUベースのDNNと比べてどうか？
• RQ3 BDNN用のヒューリスティックアルゴリズムは、計算的に現実的である一方で、標準的なDNNを上回る精度を達成できるか？
• RQ4 2段階ロバスト最適化アプローチは、BDNNの敵対的耐性をどの程度向上させられるか？
• RQ5 BDNNは、特に安定性と一般化性能の観点から、データ分布やハイパーパrameterの選択に対してどの程度感受性を示すか？

主な発見

• ヒューリスティックBDNNは、10回のランダムなデータ分割においてBreast Cancer Wisconsin（BCW）データセットで最高97.1%の精度を達成し、標準DNNの最大91.4%を上回った。
• 同じデータセットにおいて、d₁=25のヒューリスティックBDNNは1回の実行で95.0%の精度を達成し、DNNの91.4%を上回った。
• 正確なBDNNソルバはBCWデータセットで0.0%の最適性ギャップを達成し、最適解を特定したが、ヒューリスティック手法よりも著しく長い実行時間を要した。
• ランダムデータセットでは、正確なBDNNとヒューリスティックBDNNの両方の精度がDNNよりも低く、かつ不安定であったため、合成データでは一般化性能が劣ることが示された。
• 正確なBDNNおよびヒューリスティックBDNNの実行時間は、データポイント数に比例して線形に増加し、数百万件のサンプルを含む大規模データセットでは非現実的となった。
• d₁=20かつ20個のデータポイントを持つインスタンスでは、ロバストBDNN定式化が24時間以内に終了しなかったため、ロバストな2段階問題のスケーラビリティに課題があることが示された。