[論文レビュー] Globally-Robust Neural Networks

K. Rustan M. Leino, Zifan Wang+1 more|arXiv (Cornell University)|Feb 16, 2021

Adversarial Robustness in Machine Learning参考文献 47被引用数 23

ひとこと要約

この論文は、グローバルリプシッツ境界を用いて訓練することで、最小限のトレーニングおよび推論オーバーヘッドで最先端の検証可能ロバスト精度を達成する、グローバルにロバストなニューラルネットワーク（GloRo Nets）を紹介する。前方伝播に学習可能なグローバルリプシッツ制約を組み込み、新しい損失関数を用いることで、推論時に効率的かつ決定論的にロバスト性を検証可能にし、MNIST、CIFAR-10、Tiny-ImageNetの各データセットにおいて、速度、メモリ効率、検証可能精度の面で先行手法を上回る。

ABSTRACT

The threat of adversarial examples has motivated work on training certifiably robust neural networks to facilitate efficient verification of local robustness at inference time. We formalize a notion of global robustness, which captures the operational properties of on-line local robustness certification while yielding a natural learning objective for robust training. We show that widely-used architectures can be easily adapted to this objective by incorporating efficient global Lipschitz bounds into the network, yielding certifiably-robust models by construction that achieve state-of-the-art verifiable accuracy. Notably, this approach requires significantly less time and memory than recent certifiable training methods, and leads to negligible costs when certifying points on-line; for example, our evaluation shows that it is possible to train a large robust Tiny-Imagenet model in a matter of hours. Our models effectively leverage inexpensive global Lipschitz bounds for real-time certification, despite prior suggestions that tighter local bounds are needed for good performance; we posit this is possible because our models are specifically trained to achieve tighter global bounds. Namely, we prove that the maximum achievable verifiable accuracy for a given dataset is not improved by using a local bound.

研究の動機と目的

• ニューラルネットワークの検証可能ロバストトレーニングにおける、高い計算コストとメモリ要件を解決すること。
• グローバルリプシッツ境界が、実効的なロバスト性検証に不適切であると一般的に考えられているという制限を克服すること。
• グローバルリプシッツ境界を代理指標としてではなく、構築段階でロバスト性を達成する主要なメカニズムとして活用するトレーニングフレームワークを開発すること。
• 推論時にリアルタイムかつ低コストのロバスト性検証を可能にし、標準的な前方伝播と同等の効率性を実現すること。
• 適切にトレーニングされた場合、グローバルロバスト性が、よりタイトな局所的境界に依存する手法と同等またはそれ以上の性能を達成できることを示すこと。

提案手法

• 任意の2つのクラス領域間の特徴空間がε以上に分離されるグローバルロバスト性の概念を形式化し、不確実な入力を拒否する必要があることを要請する。
• GloRo Netsを、ネットワークの前方伝播にグローバルリプシッツ境界を組み込み、新たな「ロバスト性違反」クラスとして実装することで構築する。
• グローバルリプシッツ境界がεを超えた場合に予測をペナルティ化する新しい損失関数を用い、最適化によりよりタイトな境界を促進する。
• グローバルリプシッツ境界が効率的に計算可能であり、軽量で微分可能なコンponentsとしてネットワークに統合可能であるという事実を活用する。
• 標準的なバックプロパゲーションを用いてモデルをトレーニングし、非正例のロジットすべてに√2εK_Gを追加する損失関数を採用することで、遠く離れた境界にはペナルティを課さずにロバスト性を促進する。
• 前方伝播1回でオンライン検証を可能にし、グローバルバウンディング計算がネットワークアーキテクチャに効率的に埋め込まれているため。

実験結果

リサーチクエスチョン

• RQ1 よりタイトな局所的境界が必須であるとされる前提に反し、グローバルリプシッツ境界を検証可能ロバストニューラルネットワークの主なメカニズムとして効果的に使用できるか？
• RQ2 グローバルリプシッツ制約に基づくトレーニングが、局所的境界やデュアルネットワークに依存する手法よりも優れた検証可能ロバスト精度を達成できるか？
• RQ3 グローバルロバスト性は、最小限のトレーニングおよび推論オーバーヘッドで実現可能であり、実用的なリアルタイム検証を可能にするか？
• RQ4 グローバル境界と局所的境界の間の性能ギャップは、本質的な制限であるのか、適切なトレーニング目的関数によって克服可能か？
• RQ5 ランダムスムージングと比較して、本手法は検証速度、決定論性、検証可能精度の面で優れているか？

主な発見

• 提案手法のGloRo Netは、ε=1.58のロバスト性半径でMNISTにおいて63%の検証可能ロバスト精度を達成し、すべての先行手法を複数百分率ポイント以上上回った。
• 本手法は大規模データセットに対しても効果的にスケーリングでき、CIFAR-10では最先端の検証可能ロバスト精度を達成し、数時間で大規模なロバストTiny-ImageNetモデルのトレーニングが可能になった。
• GloRo Netsにおける検証には前方伝播1回で十分であり、1入力あたり最大100,000回の前方伝播を要するランダムスムージングよりも著しく高速である。
• グローバル境界を用いても、適切にトレーニングされた場合、局所的境界を用いる手法と同等またはそれ以上の性能を達成でき、グローバル境界が本質的に制限的であるとは限らないことを示した。
• トレーニングプロセスにおけるメモリおよび時間的オーバーヘッドはほとんどなく、検証コストは標準的な推論とほぼ同一であるため、リアルタイムデプロイメントが可能である。
• 理論的分析により、局所的境界を用いて達成可能な任意のロバスト分類は、グローバルリプシッツ定数を最小化するようにネットワークをトレーニングすれば、グローバル境界でも達成可能であることが証明された。