[論文レビュー] On Visual Hallmarks of Robustness to Adversarial Malware

Alex Huang, Abdullah Al-Dujaili+2 more|arXiv (Cornell University)|May 9, 2018

Adversarial Robustness in Machine Learning参考文献 7被引用数 6

ひとこと要約

本稿では、敵対的硬化されたマルウェア検出器における堅牢性を解釈するための視覚的分析ツール—敵対的損失ランドスケープと自己組織化マップ（SOM）—を導入する。平坦性（flatness）が損失ランドスケープにのみ存在しても、堅牢な一般化を示すとは限らないが、敵対的変種が意思決定境界に近いかどうかが、モデルの堅牢性と強く相関しており、より堅牢なモデル（例：rFGSMᵏ）では敵対的サンプルが境界から遠く離れていることが示された。

ABSTRACT

A central challenge of adversarial learning is to interpret the resulting hardened model. In this contribution, we ask how robust generalization can be visually discerned and whether a concise view of the interactions between a hardened decision map and input samples is possible. We first provide a means of visually comparing a hardened model's loss behavior with respect to the adversarial variants generated during training versus loss behavior with respect to adversarial variants generated from other sources. This allows us to confirm that the association of observed flatness of a loss landscape with generalization that is seen with naturally trained models extends to adversarially hardened models and robust generalization. To complement these means of interpreting model parameter robustness we also use self-organizing maps to provide a visual means of superimposing adversarial and natural variants on a model's decision space, thus allowing the model's global robustness to be comprehensively examined.

研究の動機と目的

• 敵対的硬化されたニューラルネットワークモデルの解釈を目的とした視覚的ツールの開発。
• 敵対的訓練されたモデルにおける損失ランドスケープの幾何的性質（例：平坦性）が、堅牢な一般化と相関するかどうかの評価。
• 異なる訓練手法から得られる敵対的変種が、入力空間における意思決定境界の相対的位置にどのように分布するかの検討。
• パラメータ空間（損失ランドスケープ）と入力空間（SOM）の可視化の、堅牢性評価における解釈可能性の比較。
• 敵対的変種が多様なソースから生成された場合に、損失ランドスケープの平坦性が堅牢性を示すかどうかの評価。

提案手法

• Liら（2017）の手法を用いて、訓練中に生成された敵対的変種に焦点を当て、敵対的硬化モデルの損失ランドスケープを可視化する。
• 自己組織化マップ（SOM）を用いて、敵対的サンプルと自然なサンプルを2次元の意思決定空間に投影し、局所的な関係を保持するとともに、色でクラスの信頼度を可視化する。
• 同じ訓練手法からの敵対的変種と、4つの訓練手法すべてからの敵対的変種の集合を用いた損失ランドスケープの比較。
• 異なる内部最大化器（rFGSMᵏ、BGAᵏ、dFGSMᵏ、BCAᵏ）を用いて、4つの異なる敵対的硬化モデルを訓練する。
• SOM空間におけるモデルの意思決定境界からの距離を測定することで、敵対的変種の意思決定境界への近接度を分析する。
• パラメータ空間における損失ランドスケープ幾何の可視化を改善するため、フィルターワイズ正規化を採用する。

実験結果

リサーチクエスチョン

• RQ1 敵対的硬化モデルの損失ランドスケープにおける平坦性は、堅牢な一般化と相関するか？
• RQ2 異なる訓練手法から生成された敵対的変種は、入力空間における意思決定境界の相対的位置にどのように分布するか？
• RQ3 自己組織化マップは、敵対的訓練されたモデルにおけるグローバルな堅牢性パターンを効果的に明らかにできるか？
• RQ4 自然に訓練されたモデルで観察された損失ランドスケープの平坦性と一般化の関連性が、敵対的硬化モデルに対しても成立するか？
• RQ5 モデルの堅牢性は、損失ランドスケープの幾何的性質よりも、敵対的変種の意思決定境界からの空間的分布によってよりよく予測できるか？

主な発見

• 同じ訓練手法からの敵対的変種のみを用いて評価した場合、損失ランドスケープの平坦性は堅牢性を予測しない。特に、BGAᵏモデルは平坦性を示すが一般化性能が著しく低いことから、そのような平坦性が堅牢性を示さないことが示された。
• 全4手法からの敵対的変種の集合を用いて評価した場合、損失ランドスケープの平坦性は堅牢性と相関する。これは、より広範な敵対的カバレッジが、意味のある解釈を行うために不可欠であることを示している。
• 最も堅牢なrFGSMᵏモデルでは、SOM空間において敵対的変種が意思決定境界から遠く離れて配置されている一方、より脆弱なモデル（例：BCAᵏ）では、敵対的変種が境界に近いか、あるいは健全なクラス領域内に高信頼度で配置されている。
• 意思決定境界からの距離が、損失ランドスケープの幾何的性質よりも堅牢性の予測に強く寄与しており、SOM可視化における一貫した空間的分離がその証拠となっている。
• 自然なモデル（Natural model）の意思決定マップは、多数の敵対的変種が健全なクラス領域に高信頼度で配置されていることから、極めて脆弱であることが判明。特に、全手法からの敵対的変種の集合を用いて評価した場合に顕著に現れた。
• BCAᵏモデルの意思決定マップは、自然なモデルとほぼ同一であり、敵対的訓練による改善がほとんどないことが示された。敵対的変種は、健全な領域における意思決定境界に密に分布している。