[論文レビュー] Robust Decision Trees Against Adversarial Examples

Hongge Chen, Huan Zhang+2 more|arXiv (Cornell University)|Feb 27, 2019

Adversarial Robustness in Machine Learning被引用数 40

ひとこと要約

本論文は、決定木とブースティング木を一般的なロバスト学習フレームワークとして開発し、敵対的な摂動に抵抗する max-min 目的を定式化し、実用的なスケーラビリティのためにロバスト分割を近似する。

ABSTRACT

Although adversarial examples and model robustness have been extensively studied in the context of linear models and neural networks, research on this issue in tree-based models and how to make tree-based models robust against adversarial examples is still limited. In this paper, we show that tree based models are also vulnerable to adversarial examples and develop a novel algorithm to learn robust trees. At its core, our method aims to optimize the performance under the worst-case perturbation of input features, which leads to a max-min saddle point problem. Incorporating this saddle point objective into the decision tree building procedure is non-trivial due to the discrete nature of trees --- a naive approach to finding the best split according to this saddle point objective will take exponential time. To make our approach practical and scalable, we propose efficient tree building algorithms by approximating the inner minimizer in this saddle point problem, and present efficient implementations for classical information gain based trees as well as state-of-the-art tree boosting models such as XGBoost. Experimental results on real world datasets demonstrate that the proposed algorithms can substantially improve the robustness of tree-based models against adversarial examples.

研究の動機と目的

• ツリー系モデルはニューラルネットワークと同様に敵対的な例に対して脆弱であることを示す。
• 最悪ケースの入力摂動を目指す決定木の一般的なロバスト学習フレームワークを提案する。
• 古典的な情報利得木と XGBoost のような現代的な GBDT 手法に適合するロバスト分割の、スケーラブルな近似を開発する。
• さまざまな攻撃手法を用いて実世界データセット上でロバスト性の改善を評価する。

提案手法

• 各サンプルの周りの ell-infty ボール内の摂動に対して max-min 最適化としてロバスト分割選択を定式化する。
• 分割閾値付近にある j 番目の特徴を持つ点の集合 Delta I を定義し、最悪ケースの摂動をモデル化するための2値割り当て変数を導入する。
• (1) 情報利得ベースの木のためのロバスト分割を、分割あたり O(d|I|^2) の計算量で提供、(2) 効率性のための4つの代表ケースを用いたブースト木のロバスト分割。
• 分割スコアを二次の損失のテイラー展開と標準的な XGBoost 風スコアリングで表現することで、勾配ブースト済み決定木へフレームワークを拡張する。
• スケーラブルな学習を可能にするアルゴリズム実装を提供する（ロバスト情報利得木のアルゴリズム1とロバストブースト木のアルゴリズム2）

実験結果

リサーチクエスチョン

• RQ1 ツリー系モデルはニューラルネットワークと同様に敵対的な摂動に対して脆弱であるか？
• RQ2 計算コストが高すぎることなく、分割決定のための堅牢な max-min 目的を定義して敵対的耐性を向上させることができるか？
• RQ3 古典的な決定木と現代的なブーストフレームワーク（XGBoost のような）に対して、ロバストな分割を効率的に実装する方法は？
• RQ4 実データセット全体で、ロバスト学習がロバスト性と精度に与える実証的影響はどうなるか？

主な発見

• ツリー系モデルはニューラルネットワークと同様に敵対的な例に対して脆弱である。
• max-min ロバスト学習目的を木の構築プロセスに組み込むことで、摂動下での最悪ケースの性能を最適化できる。
• 効率的な近似により、情報利得木とブースト木の両方のロバスト分割を可能にし、XGBoost のような大規模モデルにもロバスト学習をスケーラブルに適用できる。
• 実験は、ロバスト木を用いることで敵対的攻撃に対するロバスト性が著しく向上することを示し、自然木と比較して同等もしくは高いテスト精度を達成することがある。
• ロバスト学習は、敵対的な誤分類を成功させるために必要な摂動（L∞ノルム）を増加させ、耐性が向上することを示す。