[論文レビュー] Rethinking Lipschitz Neural Networks and Certified Robustness: A Boolean Function Perspective

Bohang Zhang, Jiang Du+2 more|arXiv (Cornell University)|Oct 4, 2022

Adversarial Robustness in Machine Learning被引用数 12

ひとこと要約

この論文は、順序統計を活用することで、$Â𝕃_{∞}$ ノイズに対して最先端の認証可能 $ε$-ロバスト性を達成する統一されたリプシッツニューラルネットワークアーキテクチャ、SortNetを紹介する。ブール関数の表現を分析することで、標準的なリプシッツネットワークの根本的な限界を特定し、MNIST、CIFAR-10、Tiny ImageNet、ImageNetの全データセットで、訓練エポック数を削減しても、先行手法を上回る認証可能精度を達成することを示している。

ABSTRACT

Designing neural networks with bounded Lipschitz constant is a promising way to obtain certifiably robust classifiers against adversarial examples. However, the relevant progress for the important $\ell_\infty$ perturbation setting is rather limited, and a principled understanding of how to design expressive $\ell_\infty$ Lipschitz networks is still lacking. In this paper, we bridge the gap by studying certified $\ell_\infty$ robustness from a novel perspective of representing Boolean functions. We derive two fundamental impossibility results that hold for any standard Lipschitz network: one for robust classification on finite datasets, and the other for Lipschitz function approximation. These results identify that networks built upon norm-bounded affine layers and Lipschitz activations intrinsically lose expressive power even in the two-dimensional case, and shed light on how recently proposed Lipschitz networks (e.g., GroupSort and $\ell_\infty$-distance nets) bypass these impossibilities by leveraging order statistic functions. Finally, based on these insights, we develop a unified Lipschitz network that generalizes prior works, and design a practical version that can be efficiently trained (making certified robust training free). Extensive experiments show that our approach is scalable, efficient, and consistently yields better certified robustness across multiple datasets and perturbation radii than prior Lipschitz networks. Our code is available at https://github.com/zbh2047/SortNet.

研究の動機と目的

• 標準的なリプシッツネットワークがブール関数および順序統計の文脈で、認証可能$Â𝕃_{∞}$ロバスト性を達成する際の内在的限界を特定すること。
• 最近のアーキテクチャ（例：$Â𝕃_{∞}$-距離ネット）が、従来のリプシッツネットワーク（例：GroupSort や MaxMin）を上回る理由を説明すること。
• 先行研究を一般化し、表現力に富み、効率的な訓練が可能な統一されたリプシッツネットワークアーキテクチャを設計すること。
• 標準的なリプシッツネットワークが順序統計および対称的ブール関数を近似する際の理論的不可能性を確立すること。

提案手法

• 対称的ブール関数（SBF）および順序統計の観点から、認証可能$Â𝕃_{∞}$ロバスト性を分析する。
• 任意の標準的なリプシッツネットワークが、ノルム有界なアフィン層とリプシッツ活性化関数を備える場合、有限データセット上での対称的ブール関数に対して非ゼロのロバスト半径を達成できないことを証明し、ロバスト半径が$\mathcal{O}(1/d)$の割合で減少することを示す。
• 順序統計の近似誤差に下限を確立する：深さや幅にかかわらず、任意の標準的なリプシッツネットワークは$d$次元の順序統計を$\mathcal{O}(1 - 1/d)$誤差内に近似できない。
• SortNetを導入する。これは、順序統計およびブール関数の正確な表現を可能にする完全なソーティング操作を組み込んだ二層構造であり、GroupSort や$Â𝕃_{∞}$-距離ネットを一般化する。
• 微分可能ソーティングと勾配ベースの訓練を用いた実用的バージョンのSortNetを設計し、追加の最適化テクニックを用いずに、認証可能なロバストな訓練を効率的に行えるようにする。
• MNIST、CIFAR-10、Tiny ImageNet、ImageNetにおける広範な実験を通じて、複数のノイズ半径における認証可能精度とクリーン精度を比較して手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的なリプシッツネットワークは、リプシッツ定数が有界であっても、強い認証可能$Â𝕃_{∞}$ロバスト性を達成できないのか？
• RQ2 標準的なリプシッツアーキテクチャで、対称的ブール関数および順序統計を表現する際の根本的な限界は何か？
• RQ3 $Â𝕃_{∞}$-距離ネットやGroupSortといった高度なアーキテクチャは、これらの限界をどのように回避しているのか？
• RQ4 先行研究を一般化し、認証可能ロバスト性を備えた効率的かつスケーラブルな訓練が可能な統一されたリプシッツネットワークアーキテクチャを設計できるか？
• RQ5 MaxMinネットワークが順序統計およびブール関数を表現するのに必要な最小の深さは何か？

主な発見

• 任意の標準的なリプシッツネットワークは、有限データセット上での対称的ブール関数に対して、非ゼロの認証可能$Â𝕃_{∞}$ロバスト性を達成できない。ロバスト半径は$\mathcal{O}(1/d)$の割合で減少する。
• 深さや幅にかかわらず、任意の標準的なリプシッツネットワークは$d$次元の順序統計を$\mathcal{O}(1 - 1/d)$誤差内に近似できない。これは近似理論における未解決問題を解決する。
• $Â𝕃_{∞}$-距離ネットは、MNIST（$\mathbf{98.14\%}$、$\epsilon=0.1$の中央値）およびCIFAR-10（$\mathbf{56.67\%}$、$\epsilon=2/255$）で最先端の認証可能精度を達成し、先行手法を上回っている。
• SortNetは、1800エポックでCIFAR-10において$\mathbf{56.05\%}$の認証可能精度（$\epsilon=2/255$）を達成し、[74]の$54.12\%$という先行最良手法を上回っている。特化した訓練テクニックを用いていないにもかかわらずである。
• ImageNet $64\times64$ では、SortNet+MLPが$\mathbf{9.54\%}$の認証可能精度（$\epsilon=1/255$）を達成し、大規模データセットへのスケーラビリティを示している。
• 実用的SortNetバージョンは、追加の技術を用いずに認証可能なロバスト訓練を可能にし、すべてのデータセットおよびノイズ半径で一貫した性能向上を達成している。