[論文レビュー] Efficient Training of Robust Decision Trees Against Adversarial Examples

Daniël Vos, Sicco Verwer|arXiv (Cornell University)|Dec 18, 2020

Adversarial Robustness in Machine Learning参考文献 17被引用数 11

ひとこと要約

本稿では、敵対的例に対して頑健な意思決定木を訓練するための高速で効率的なアルゴリズムGROOTを提案する。敵対的ジニ不純度を解析的に解くことで、最先端の手法と比較して100倍の高速化を達成しながらも、競争力のある頑健性を維持する。ユーザーが自由に定義可能な脅威モデルをサポートし、自然な性能と敵対的性能のトレードオフを制御するハイパーパrameter ρを備える。

ABSTRACT

In the present day we use machine learning for sensitive tasks that require models to be both understandable and robust. Although traditional models such as decision trees are understandable, they suffer from adversarial attacks. When a decision tree is used to differentiate between a user's benign and malicious behavior, an adversarial attack allows the user to effectively evade the model by perturbing the inputs the model receives. We can use algorithms that take adversarial attacks into account to fit trees that are more robust. In this work we propose an algorithm, GROOT, that is two orders of magnitude faster than the state-of-the-art-work while scoring competitively on accuracy against adversaries. GROOT accepts an intuitive and permissible threat model. Where previous threat models were limited to distance norms, we allow each feature to be perturbed with a user-specified parameter: either a maximum distance or constraints on the direction of perturbation. Previous works assumed that both benign and malicious users attempt model evasion but we allow the user to select which classes perform adversarial attacks. Additionally, we introduce a hyperparameter rho that allows GROOT to trade off performance in the regular and adversarial settings.

研究の動機と目的

• 実世界の応用において敵対的例に対して頑健な意思決定木を高速かつスケーラブルに学習するための手法を開発すること。
• 実装に不適切なほど遅い既存の頑健な意思決定木学習手法の計算上の非効率性を克服すること。
• 固定された距離ノルムに依存するのではなく、ユーザーが各特徴量ごとに摂動の上限値や方向を指定できる、柔軟で直感的な脅威モデルを提供すること。
• 自然な入力に対する性能と敵対的攻撃に対する頑健性のトレードオフを制御できるハイパーパrameter ρを導入すること。
• 標準の意思決定木学習の効率性に匹敵する一方で、最先端の敵対的精度を達成すること。

提案手法

• GROOTは、標準の意思決定木と同様のグリーディーな再帰的分割戦略を用いるが、スプリットのスコアは敵対的摂動下での最悪ケースのジニ不純度に基づく。
• 閉形式解を用いて敵対的ジニ不純度を解析的に計算することで、定数時間の評価が可能になり、高価な反復的最適化を回避する。
• 摂動を加えたサンプルを子ノードに伝搬し、最悪ケースの攻撃シナリオ下でより広範な候補スプリットを探索する。
• L∞-ノルムの仮定を越えて、各特徴量ごとに最大距離または方向制限を含む、ユーザー定義可能な摂動制約をサポートする。
• ハイパーパラメータ ρ は、損失関数に重みを付けることで、標準的な精度と敵対的頑健性のトレードオフを制御する。
• GROOTはPythonで実装されており、scikit-learnと統合されており、公平な比較のため、同じジニ不純度基準とデフォルトのハイパーパラメータを使用する。

実験結果

リサーチクエスチョン

• RQ1 標準の意思決定木学習と同等の計算効率で頑健な意思決定木を学習できるか？
• RQ2 GROOTが敵対的ジニ不純度を解析的に計算することで、従来の最適化ベースの手法と比較してどの程度高速化されるか？
• RQ3 GROOTは、柔軟でユーザー指定可能な脅威モデルをサポートしながらも、高い敵対的精度をどの程度維持できるか？
• RQ4 実際の応用において、ハイパーパラメータ ρ が自然な精度と頑健性のトレードオフにどのように影響するか？
• RQ5 TREANTなどの最先端の手法と比較して、GROOTは敵対的精度を上回るか同等に保ちつつ、著しく高速に動作するか？

主な発見

• GROOTは、最先端の手法TREANTと同等の敵対的精度を達成しており、敵対的設定下で標準のscikit-learn意思決定木と比較して約21%の向上を示した。
• GROOTはTREANTと比較して2桁の速度向上を達成しており、平均して数秒の学習時間で、実世界への実装に適している。
• Chenらが提案したヒューリスティックは、GROOTおよびTREANTの1標準偏差圏内に収まり、1つのデータセットでのみ0.8%の改善にとどまるため、顕著な利点はない。
• blood-transfusion や haberman のようなデータセットでは、自然な意思決定木が敵対的状況下でも頑健なモデルと同等の性能を示しており、特徴量の分離性が脆弱性を低減していることを示している。
• GROOTは解析的解のおかげで、標準の意思決定木と同様にO(n log n)の時間計算量を維持しており、効率的なスケーリングが可能である。
• アルゴリズムはさまざまな脅威モデルに対して頑健であり、各特徴量の上限値や方向制約を含む柔軟な摂動指定をサポートする。