[論文レビュー] A Tool for Neural Network Global Robustness Certification and Training

Zhilu Wang, Yixuan Wang+5 more|arXiv (Cornell University)|Aug 15, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

この論文では、GPUアクセラレーションと微分可能であるGROCETを紹介する。GROCETは、最適化ベースの認証を記号的伝搬と分枝限定法に置き換えることで、より高速でスケーラブルな認証を実現し、エンドツーエンドの学習においてグローバルなロバストネスを微分可能正則化項として利用可能にした。これにより、大規模なネットワークにおいて顕著なロバストネス向上が達成された。

ABSTRACT

With the increment of interest in leveraging machine learning technology in safety-critical systems, the robustness of neural networks under external disturbance receives more and more concerns. Global robustness is a robustness property defined on the entire input domain. And a certified globally robust network can ensure its robustness on any possible network input. However, the state-of-the-art global robustness certification algorithm can only certify networks with at most several thousand neurons. In this paper, we propose the GPU-supported global robustness certification framework GROCET, which is more efficient than the previous optimization-based certification approach. Moreover, GROCET provides differentiable global robustness, which is leveraged in the training of globally robust neural networks.

研究の動機と目的

• 大規模なニューラルネットワークにおける、従来のグローバルロバストネス認証手法のスケーラビリティと効率性の制限を解消すること。
• 記号的伝搬を活用したGPUアクセラレーションにより、リアルタイムでスケーラブルな認証を実現すること。
• 学習中の正則化項として利用可能な微分可能なグローバルロバストネスを提供すること。
• 特に大規模アーキテクチャにおいて、標準的な正則化法では達成できない範囲を超えて、ディープニューラルネットワークのグローバルロバストネスを向上させること。

提案手法

• GROCETは、入力の摂動と出力の変動を層ごとに記号的境界として表現する、入れ違い二重ネットワーク符号化（ITNE）を用いる。
• 記号的伝搬を適用し、入力摂動に対する出力変動境界の線形上界を、層ごとに逐次計算する。
• 分枝限定法を用いて、これらの境界を繰り返しタイトにすることで、途中で「現在の最良」の結果を得られる早期終了を可能にする。
• 従来の最適化ベースのMILP-ITNE手法に代わり、微分可能でGPU並列化可能なアルゴリズムを採用し、速度とスケーラビリティを向上させる。
• グローバルロバストネスを学習損失に微分可能な正則化項として統合し、ロバストネスを直接最適化可能にする。
• 全結合層、畳み込み層、ReLU層、プーリング層をサポートし、計算グラフ内で加算および減算層のサポートも可能である。

実験結果

リサーチクエスチョン

• RQ1 記号的伝搬と分枝限定法は、最適化ベースの認証を置き換え、GPUアクセラレーションとより高速なグローバルロバストネス検証を可能にするか？
• RQ2 微分可能なグローバルロバストネスは、より高いグローバルロバストネスを持つニューラルネットワークの学習に効果的に正則化項として利用可能か？
• RQ3 GROCETは、大規模ネットワークにおいてMILP-ITNEと比較して、性能と上界のタイトさの両面で優れているか？
• RQ4 GROCETは10,000ニューロンを超えるネットワークに対しても、実用的な認証時間を維持しながらスケーリング可能か？

主な発見

• GROCETは、同等の実行時間内において、MILP-ITNEよりもはるかにタイトな出力変動境界の上界を達成しており、テストモデルでは最大34.1%の上界タイトネス向上を達成した。
• CIFAR-10のDNN-5モデルでは、認証時間をMILP-ITNEの1241秒から1.074秒に短縮し、1155倍の高速化を達成した。
• MNISTのDNN-2モデルでは、GROCETを用いたグローバルロバスト学習により、テスト精度を95.80%から96.88%に向上させ、同等のロバストネス水準を維持した。
• より大きなDNN-5モデルでは、GROCETを用いたグローバルロバスト学習により、標準的なL2正則化学習と比較して、認証可能なグローバルロバストネスが10倍以上向上した。
• GROCETは、いつでも「現在の最良」の結果を得られるように早期終了をサポートしており、MILP-ITNEが完全最適化を必要とするのとは異なり、より柔軟性に富んでいる。