[論文レビュー] What Do Deep Nets Learn? Class-wise Patterns Revealed in the Input Space

Shihao Zhao, Xingjun Ma+4 more|arXiv (Cornell University)|Jan 18, 2021

Adversarial Robustness in Machine Learning参考文献 33被引用数 9

ひとこと要約

この論文は、深層ニューラルネットワーク（DNN）が学習したクラス別パターンを入力（ピクセル）空間の直接可視化する手法を提案し、DNNが各クラスごとに1つの予測可能なパターンを記憶していることを明らかにした。主な発見は、クリーンな訓練を経たDNNですら「バックドアに類似した」トリガーを学習しており、敵対的に訓練されたモデルは簡素化され、耐性のある形状パターンを学習していることである。これにより、DNNの解釈可能性と脆弱性に関する新たな知見が得られた。

ABSTRACT

Deep neural networks (DNNs) are increasingly deployed in different applications to achieve state-of-the-art performance. However, they are often applied as a black box with limited understanding of what knowledge the model has learned from the data. In this paper, we focus on image classification and propose a method to visualize and understand the class-wise knowledge (patterns) learned by DNNs under three different settings including natural, backdoor and adversarial. Different to existing visualization methods, our method searches for a single predictive pattern in the pixel space to represent the knowledge learned by the model for each class. Based on the proposed method, we show that DNNs trained on natural (clean) data learn abstract shapes along with some texture, and backdoored models learn a suspicious pattern for the backdoored class. Interestingly, the phenomenon that DNNs can learn a single predictive pattern for each class indicates that DNNs can learn a backdoor even from clean data, and the pattern itself is a backdoor trigger. In the adversarial setting, we show that adversarially trained models tend to learn more simplified shape patterns. Our method can serve as a useful tool to better understand the knowledge learned by DNNs on different datasets under different settings.

研究の動機と目的

• DNNが学習するクラス固有の知識を、特徴空間や活性化空間ではなく、入力（ピクセル）空間に直接可視化する手法を開発すること。
• クリーンデータで訓練されたDNNが、成功するバックドア攻撃を可能にする内在的な「バックドア」パターンを学習しているかどうかを調査すること。
• 敵対的訓練が、形状の単純さと耐性の観点から、DNNが学習するパターンの性質にどのように影響を与えるかを検討すること。
• DNNの挙動を解釈するためのツールを提供し、バイアスの特定と防御メカニズムの向上を図ること。

提案手法

• 本手法は、任意の非ターゲットクラスの画像に付加された場合に、DNNがターゲットクラスを高い信頼度で予測するような、1つの局所的なパターンをキャンバス画像内で探索する。
• この探索を、ピクセル値の最適化問題として定式化し、ターゲットクラスの予測スコアを最大化すると同時に、パターンが最小限で局所的であるように制約を課す。
• 本手法はピクセル空間に直接作用するため、特徴マップや注目メカニズムに依存せずに、学習されたパターンを直感的に解釈可能にする。
• 自然訓練、バックドア付き訓練、敵対的訓練の3つの設定に適用し、パターンの特性を比較する。
• 異なるモデル間でパターンの予測能力を評価することで、転送可能性分析を可能にする。
• モデルの信頼度スコアと勾配ベースの最適化を活用し、各クラスの高予測性を持つピクセルパターンを同定する。

実験結果

リサーチクエスチョン

• RQ1 クリーンデータで訓練されたDNNは、入力空間において各クラスごとに一貫性があり、予測可能なパターンを学習するのか？
• RQ2 提案手法は、バックドア付きモデルにおけるバックドアトリガーのパターンを特定できるか。また、クリーンモデルに内在する脆弱性も暴露できるか？
• RQ3 敵対的訓練を受けたDNNは、自然に訓練されたモデルと比較して、どのような点で学習するパターンが異なるのか？
• RQ4 DNNが学習するパターンは、頑健な特徴を反映しているのか、それとも非頑健でテクスチャに基づくバイアスを反映しているのか？

主な発見

• 自然データで訓練されたDNNは、抽象的な形状とテクスチャを組み合わせた一貫性のあるクラス固有のパターンを入力空間に学習しており、記憶の一種であることが示唆された。
• クリーンモデルにこのようなパターンが存在することは、それらが本質的に「バックドア」を内蔵していることを意味し、これらのパターンを悪用することで高い成功率で入力を誤分類可能である。
• バックドア付きモデルは、期待されるバックドア行動に一致する疑わしい局所的トリガーを学習しており、本手法の検出効果が確認された。
• 敵対的訓練を受けたDNNは、自然モデルと比較して、より単純化され、密集した形状パターンを学習していることが明らかになった。これは、耐性の向上を示唆している。
• 摂動を加えたデータセット（例：${\mathcal{D}}_R$）で訓練された頑健なモデルは、背景ノイズが減少したパターンを学習するが、重要なオブジェクトの形状要因を失う可能性があり、一般化の問題を引き起こすおそれがある。
• パターンの予測能力はモデル間で転送可能であり、転送率から学習されたパターンの強力な一般化性が示された。