[論文レビュー] Provably Robust Boosted Decision Stumps and Trees against Adversarial Attacks

Maksym Andriushchenko, Matthias Hein|arXiv (Cornell University)|Jun 8, 2019

Adversarial Robustness in Machine Learning参考文献 70被引用数 15

ひとこと要約

本稿では、各入力に対して $O(T\log T)$ 時間でアンサンブルのロバスト損失を正確に計算することで、$l_∞$-ノルムの adversarial 攻撃に対して証明可能にロバストな勾配ブースティングによる意思決定スツームおよび木の訓練手法を提案する。木のロバスト損失に対するタイトな上界を効率的に最適化することで、MNIST（$ε_\infty=0.3$ 時に 12.5%）、FMNIST（$ε_\infty=0.1$ 時に 23.2%）、CIFAR-10（$ε_\infty=8/255$ 時に 74.7%）で最先端のロバストテスト誤差を達成した。正確な adversarial 例の生成により、改善されたロバスト性が確認された。

ABSTRACT

The problem of adversarial robustness has been studied extensively for neural networks. However, for boosted decision trees and decision stumps there are almost no results, even though they are widely used in practice (e.g. XGBoost) due to their accuracy, interpretability, and efficiency. We show in this paper that for boosted decision stumps the extit{exact} min-max robust loss and test error for an $l_\infty$-attack can be computed in $O(T\log T)$ time per input, where $T$ is the number of decision stumps and the optimal update step of the ensemble can be done in $O(n^2\,T\log T)$, where $n$ is the number of data points. For boosted trees we show how to efficiently calculate and optimize an upper bound on the robust loss, which leads to state-of-the-art robust test error for boosted trees on MNIST (12.5% for $ε_\infty=0.3$), FMNIST (23.2% for $ε_\infty=0.1$), and CIFAR-10 (74.7% for $ε_\infty=8/255$). Moreover, the robust test error rates we achieve are competitive to the ones of provably robust convolutional networks. The code of all our experiments is available at http://github.com/max-andr/provably-robust-boosting

研究の動機と目的

• 意思決定スツームおよび木は、その効率性と解釈可能性の高さから実用的に広く用いられているが、そのロバストな訓練手法が不足している現状を是正すること。
• 勾配ブースティングによる意思決定スツームの $l_\infty$-ノルム摂動下での正確なミニマックスロバスト損失を、$O(T\log T)$ 時間で効率的に計算するアルゴリズムの開発。
• スツームレベルのロバスト性に基づいて、ブースティング木のロバスト損失に対するタイトで効率的に計算可能な上界を導出し、最適化することで、証明可能なロバスト性保証を実現すること。
• 提案手法が、最先端の証明可能ロバストなニューラルネットワークと比較して、競争力のあるロバストテスト誤差率を達成することを実証すること。

提案手法

• 意思決定スツームの勾配ブースティングにおいて、$l_\infty$-有界摂動の下でのミニマックス最適化問題を解くことで、各入力に対して $O(T\log T)$ 時間で正確なロバスト損失を計算する。
• 各座標あたり $O(n^2 T \log T)$ 時間で、正確なロバスト損失を最小化することで、アンサンブルのグローバル最適更新を達成する。ここで $n$ は訓練データ点の数を表す。
• ブースティング木の場合は、スツームレベルのロバスト性に基づいて、ロバスト損失の厳密な上界を導出し、$O(T l)$ 時間で計算可能である。ここで $l$ はリーフの数を表す。
• この上界は、各座標あたり $O(n^2 l)$ 時間で訓練中に最小化され、効率的かつ証明可能なロバスト性を備えた木アンサンブル学習を可能にする。
• ロバスト性の確認のため、立方体攻撃を用いた二分探索により adversarial 例を生成し、摂動を可視化することで、ロバストモデルへの影響が最小限であることを確認した。

実験結果

リサーチクエスチョン

• RQ1 $l_\infty$-ノルム摂動下での意思決定スツームアンサンブルの正確なミニマックスロバスト損失を、$O(T\log T)$ 時間で効率的に計算できるか？
• RQ2 近似を用いずに、ロバスト損失の最小化により、勾配ブースティングによる意思決定スツームアンサンブルの最適更新ステップを直接計算できるか？
• RQ3 スツームレベルのロバスト性に基づいて、ブースティング木のロバスト損失に対するタイトで効率的に計算可能な上界を導出できるか？
• RQ4 この上界を最適化することで、標準ベンチマーク上での木アンサンブルの最先端のロバストテスト誤差率を達成できるか？

主な発見

• 意思決定スツームの正確なロバスト損失は、各入力あたり $O(T\log T)$ 時間で計算可能であり、効率的かつ証明可能なロバスト訓練を可能にする。
• アンサンブルのグローバル最適更新は、各座標あたり $O(n^2 T \log T)$ 時間で達成され、最良のロバストモデルへの収束を保証する。
• ブースティング木の場合は、導出されたロバスト損失の上界はタイトであり、証明可能なロバスト性保証を伴う学習を可能にする。
• 本手法は、MNIST（$ε_\infty=0.3$ 時に 12.5%）、FMNIST（$ε_\infty=0.1$ 時に 23.2%）、CIFAR-10（$ε_\infty=8/255$ 時に 74.7%）で最先端のロバストテスト誤差率を達成した。
• ロバストモデルの adversarial 例は、通常のモデルと比較して、はるかに大きな $l_\infty$-ノルムの摂動（通常 $π\|\delta\|_\infty > 0.3$）を必要とし、改善されたロバスト性が確認された。