[論文レビュー] Where Does the Robustness Come from? A Study of the Transformation-based Ensemble Defence

Chang Liao, Yao Cheng+2 more|arXiv (Cornell University)|Sep 27, 2020

Adversarial Robustness in Machine Learning参考文献 12被引用数 3

ひとこと要約

本稿は、画像分類の変換ベースアンサンブル防御における頑健性の原因を調査し、頑健性を評価するための2つの適応的攻撃——トランスファーブリティベース適応攻撃（TAA）とピアラベーション集約攻撃（PAA）——を提案する。頑健性の主な要因は、アンサンブルの多様性ではなく、不可逆的変換に起因しており、サブモデル数を増やすことで追加の頑健性向上は得られないことが判明した。

ABSTRACT

This paper aims to provide a thorough study on the effectiveness of the transformation-based ensemble defence for image classification and its reasons. It has been empirically shown that they can enhance the robustness against evasion attacks, while there is little analysis on the reasons. In particular, it is not clear whether the robustness improvement is a result of transformation or ensemble. In this paper, we design two adaptive attacks to better evaluate the transformation-based ensemble defence. We conduct experiments to show that 1) the transferability of adversarial examples exists among the models trained on data records after different reversible transformations; 2) the robustness gained through transformation-based ensemble is limited; 3) this limited robustness is mainly from the irreversible transformations rather than the ensemble of a number of models; and 4) blindly increasing the number of sub-models in a transformation-based ensemble does not bring extra robustness gain.

研究の動機と目的

• 変換ベースアンサンブル防御の頑健性の根本的要因を、敵対的攻撃に対して解明すること。
• 頑健性がアンサンブル機構由来であるのか、それとも変換そのもの由来であるのかを特定すること。
• 敵対的頑健性を向上させるために、可逆的変換と不可逆的変換の効果を比較評価すること。
• このようなアンサンブルにおいて、サブモデル数を増やすことで頑健性が向上するかどうかを評価すること。
• 変換ベースアンサンブルの特徴的な構造に適合した適応的攻撃戦略を開発すること。

提案手法

• 可逆的変換アンサンブルにおける最も脆弱（「最弱」）なサブモデルを同定するためのトランスファーブリティベース適応攻撃（TAA）の設計。
• さまざまな集約戦略を用いて複数のサブモデルにおける敵対的摂動を統合するためのピアラベーション集約攻撃（PAA）の設計。
• ハイブリッドアンサンブルにおける不可逆的サブモデルの割合を変化させることで、頑健性の変動を測定する制御実験。
• 攻撃戦略をガイドするために、トランスファーブリティ分析を活用し、勾配情報とサブモデル間の類似性を活用。
• CIFAR-10およびFashion-MNISTデータセット上で、可逆的および不可逆的変換ベースアンサンブルの適応的攻撃に対する評価。
• 標準的な敵対的攻撃ベースライン（例：PGD）の適用と、適応的攻撃の結果との比較により、頑健性の原因を隔離すること。

実験結果

リサーチクエスチョン

• RQ1 変換ベースアンサンブル防御における頑健性の主な要因は、アンサンブルの多様性か、変換の種類か？
• RQ2 異なる可逆的変換を用いて訓練されたモデル間で、敵対的例のトランスファーブリティはどの程度存在するか？
• RQ3 不可逆的変換の導入が、アンサンブル全体の頑健性にどのように影響するか？
• RQ4 変換ベースアンサンブルにおけるサブモデル数の増加が、頑健性の向上に寄与するか？
• RQ5 適応的攻撃は変換ベースアンサンブルを効果的に侵害可能か？ もしそうならば、どのような条件下で可能か？

主な発見

• 変換ベースアンサンブルにおける頑健性は限定的であり、サブモデル数の増加に伴い拡大しない。
• 頑健性の大部分は、アンサンブル機構自体ではなく、不可逆的変換に起因している。
• 異なる可逆的変換を用いて訓練されたモデル間でも、敵対的例のトランスファーブリティが存在し、効果的な攻撃が可能である。
• ピアラベーション集約攻撃（PAA）は、個々の摂動を統合することで、可逆的変換に基づくアンサンブルを回避する敵対的例を効果的に生成した。
• 可逆的および不可逆的サブモデルを混合したハイブリッドアンサンブルでは、頑健性の向上が主に不可逆的サブモデルの数に依存することが示された。
• Fashion-MNISTにおける実験結果はCIFAR-10で観察された結果を支持しており、結論の一般化可能性を裏付けた。