[論文レビュー] Enhancing Certified Robustness via Smoothed Weighted Ensembling

Chizhou Liu, Yunzhen Feng+2 more|arXiv (Cornell University)|May 19, 2020

Adversarial Robustness in Machine Learning参考文献 63被引用数 5

ひとこと要約

本稿では、学習済みのベースモデルを最適に組み合わせることで、ランダム化スムージング分類器の認証可能ロバスト性を向上させる、Smoothed Weighted Ensembling (SWEEN) を提案する。SWEENは、訓練コストを低減しつつ、個々のモデルや標準アンサンブルを上回る優れた認証可能ロバスト性と精度を達成する。理論的分析により、やや弱い仮定のもとでほぼ最適なロバスト性が保証される。

ABSTRACT

Randomized smoothing has achieved state-of-the-art certified robustness against $l_2$-norm adversarial attacks. However, it is not wholly resolved on how to find the optimal base classifier for randomized smoothing. In this work, we employ a Smoothed WEighted ENsembling (SWEEN) scheme to improve the performance of randomized smoothed classifiers. We show the ensembling generality that SWEEN can help achieve optimal certified robustness. Furthermore, theoretical analysis proves that the optimal SWEEN model can be obtained from training under mild assumptions. We also develop an adaptive prediction algorithm to reduce the prediction and certification cost of SWEEN models. Extensive experiments show that SWEEN models outperform the upper envelope of their corresponding candidate models by a large margin. Moreover, SWEEN models constructed using a few small models can achieve comparable performance to a single large model with a notable reduction in training time.

研究の動機と目的

• ランダム化スムージングにおける最適なベース分類器の選択問題を解決し、認証可能ロバスト性を最大化すること。
• スケーラビリティやロバスト性保証を損なわずに、スムージング分類器の性能をアンサンブル化によって向上させること。
• 推論および認証の計算コストを低減する、効率的で適応的な予測アルゴリズムを設計すること。
• SWEENが理論的分析と実験的検証を通じて、ほぼ最適な認証可能ロバスト性を達成できることを示すこと。

提案手法

• SWEENは、最適な重みを学習して複数の事前学習済みベースモデルをアンサンブル化することで、スムージング分類器を構築する。
• 本手法は、アンサンブルとスムージングの可換性を利用し、最終モデルを重み付きアンサンブルのスムージング版として扱えるようにする。
• バリデーションセット上で、γ-ロバスト性基準における最小リスクを最適化できるように、代替損失関数を用いてアンサンブル重みを学習する。
• 予測時に関連するベースモデルを動的に選択することで、推論および認証時間を削減する適応的予測アルゴリズムを導入する。
• 理論的分析により、やや弱い仮定のもとでSWEENがほぼ最適なロバスト性を達成できることを証明し、最終モデルのリスクに対する一般化境界を示す。
• 本手法は、標準的、敵対的、あるいはMACER訓練を含む、任意のベースモデル学習手法と互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 アンサンブル化により、個々のベースモデルの性能を超えて、ランダム化スムージングにおける認証可能ロバスト性を向上させることができるか？
• RQ2 γ-ロバスト性インデックスのもとで、最適な重み付きアンサンブルの認証可能ロバスト性に対する理論的保証は何か？
• RQ3 ロバスト性を損なわずに、アンサンブルスムージング分類器の予測および認証コストをどのように低減できるか？
• RQ4 SWEENは、著しく短い訓練時間で、単一の大規模モデルと同等またはそれ以上の性能を達成できるか？
• RQ5 SWEENは、AutoAttackのような強力な敵対的攻撃に対しても、実験的ロバスト性を維持または向上させられるか？

主な発見

• SWEENモデルは、評価されたすべてのタスクで候補モデルの上界を大きく上回り、優れた認証可能ロバスト性を示した。
• CIFAR-10では、SWEEN-3（標準訓練で学習）がσ=0.25で67.0%の認証精度を達成し、同じノイズレベルでResNet-20（64.7%）およびResNet-26（65.4%）を上回った。
• 少数の小さなモデルから構築されたSWEENモデルは、単一の大規模モデルと同等の性能を達成し、訓練時間の顕著な短縮を実現した。
• 適応的予測アルゴリズムは、高いロバスト性を維持したまま、推論および認証の計算コストを効果的に低減した。
• SWEENはAutoAttackに対しても強い実験的ロバスト性を維持し、σ=0.25で67.0%の精度を達成した。これは標準のResNet-20の64.7%を上回る。
• 理論的分析により、やや弱い仮定のもとでSWEENが高確率でほぼ最適なリスクに収束することを確認し、最適化の安定性を裏付けた。