[論文レビュー] Verifying Robustness of Gradient Boosted Models

Gil Einziger, Maayan Goldstein+2 more|arXiv (Cornell University)|Jun 26, 2019

Adversarial Robustness in Machine Learning参考文献 25被引用数 6

ひとこと要約

この論文は、勾配ブースティングモデルをSMT論理式に符号化することで、敵対的ロバストネスの形式的検証を可能にするVeriGBを紹介する。これは、標準のSMTソルバを用いて厳密な検証を可能にする最初のツールである。大規模なモデルでもスケーラビリティを示し、浅い木構造のモデルが、精度が似ている場合でも深い木構造のモデルよりも本質的にロバストであることが判明した。

ABSTRACT

Gradient boosted models are a fundamental machine learning technique. Robustness to small perturbations of the input is an important quality measure for machine learning models, but the literature lacks a method to prove the robustness of gradient boosted models. This work introduces VeriGB, a tool for quantifying the robustness of gradient boosted models. VeriGB encodes the model and the robustness property as an SMT formula, which enables state of the art verification tools to prove the model's robustness. We extensively evaluate VeriGB on publicly available datasets and demonstrate a capability for verifying large models. Finally, we show that some model configurations tend to be inherently more robust than others.

研究の動機と目的

• 勾配ブースティングモデルは広く使われているが、敵対的摂動に対して脆弱であるため、その形式的検証手法の欠如に取り組む。
• 深層ニューラルネットワークの検証に関する広範な研究にもかかわらず、勾配ブースティングモデルにおけるロバストネスのスケーラブルで形式的に正しい検証手法の開発に取り組む。
• 特に木の深さといったモデルの構成パラメータが、本質的ロバストネスに与える影響を調査する。
• 実世界のデータセットに対して、ロバストネスを証明するか、反例を生成できる実用的な検証ツールを提供する。

提案手法

• VeriGBは線形算術と決定木の意味論を用いて勾配ブースティングモデルをSMT論理式に符号化し、市販のソルバを用いた形式的検証を可能にする。
• ロバストネスの性質は、入力摂動が指定されたεバウンド内にある場合にモデル出力が変化しないという論理的制約として符号化される。
• 本手法は回帰および分類の両タスクをサポートし、符号化がモデルの意味を保持することを形式的証明により保証する。
• 実行時最適化として、論理式の簡略化および効率的なノード走査を適用し、スケーラビリティを向上させる。
• SMTソルバを活用して、ロバストネスが成立する場合はそれを証明（反例が存在しない）し、失敗した場合は具体的な敵対的例を返す。
• 本手法はMNISTを含む3つの公開データセットで評価され、数100本の木を含む大規模で高精度なモデルへのスケーリングを示した。

実験結果

リサーチクエスチョン

• RQ1 SMTソルバに基づく形式的検証技術は、ニューラルネットワークとは本質的に異なる勾配ブースティングモデルに対しても効果的に適用可能か？
• RQ2 木の深さや推定器数といったハイパーパrameterは、勾配ブースティングモデルの本質的ロバストネスにどのように影響するか？
• RQ3 実用的に使われる大規模で高精度な勾配ブースティングモデルに対しても、検証プロセスはスケーリング可能か？
• RQ4 モデルの信頼度はロバストネスと相関しているのか、それとも他の構造的要因がより予測的か？

主な発見

• VeriGBは、MNISTを含む公開データセットにおける大規模な勾配ブースティングモデルのロバストネスを成功裏に検証した。数100本の木を含むモデルが対象となった。
• 木の深さが小さいモデル（例：深さ3〜5）は、精度が似ている場合でも、ε=1の条件下で最大72.5%のロバストネスを示し、深いモデルよりも顕著に高いロバストネスを示した。
• 高い分類の信頼度は、ロバストネスを信頼的に示すものではなく、一部の高信頼度モデルですら小さな敵対的摂動に対して脆弱であることが判明した。
• ロバストネスが失敗した場合、ツールは具体的な反例を生成でき、これを訓練段階でのロバストネス向上に活用できる。
• 浅い木構造とロバストネスの向上には強い相関関係があることが示され、一般化とロバストネスの間に相関がある可能性が示唆された。
• SMTに基づく符号化は形式的に正しく証明されており、効果的なスケーリングが可能であり、従来の手法では扱えなかったモデルの検証を可能にした。