[論文レビュー] Evaluating Robustness to Context-Sensitive Feature Perturbations of Different Granularities

Isaac Dunn, Laura Hanu+3 more|arXiv (Cornell University)|Jan 29, 2020

Adversarial Robustness in Machine Learning参考文献 58被引用数 9

ひとこと要約

この論文は、生成的ニューラルネットワークにおける潜在的活性化の摂動を用いて、さまざまな粒度の文脈に依存する特徴の摂動を生成することで、深層学習モデルのロバストネスを評価する手法を提案する。その結果、ピクセル空間における摂動に対する adversarial training は、粗い粒度で意味のある変化に対してロバストネスを向上させないばかりか、逆にそれを損なうことが判明し、あるドメインにおけるロバストネスが他のドメインに一般化されるという仮定に疑問を呈する。

ABSTRACT

We cannot guarantee that training datasets are representative of the distribution of inputs that will be encountered during deployment. So we must have confidence that our models do not over-rely on this assumption. To this end, we introduce a new method that identifies context-sensitive feature perturbations (e.g. shape, location, texture, colour) to the inputs of image classifiers. We produce these changes by performing small adjustments to the activation values of different layers of a trained generative neural network. Perturbing at layers earlier in the generator causes changes to coarser-grained features; perturbations further on cause finer-grained changes. Unsurprisingly, we find that state-of-the-art classifiers are not robust to any such changes. More surprisingly, when it comes to coarse-grained feature changes, we find that adversarial training against pixel-space perturbations is not just unhelpful: it is counterproductive.

研究の動機と目的

• 画像分類器が、現実的な分布シフトを反映する、文脈に依存する特徴摂動の粒度が異なるものに対してどれほどロバストであるかを評価すること。
• 微細なピクセル摂動に対するロバストネスが、画像特徴の上位レベルで意味のある変化へと一般化されるかどうかを調査すること。
• 境界付きピクセル摂動に対するロバストネスを向上させることを目的とした adversarial training が、粗い粒度の文脈に依存する変化に対するロバストネスを意図せず損なうかどうかを評価すること。
• 異なる層で潜在的活性化を操作することにより、現実的で意味的に整合性のある摂動を生成する手法を開発すること。

提案手法

• 事前に訓練された生成的ニューラルネットワークの潜在的活性化値を摂動させることで、生成画像における文脈に依存する特徴の変化を生み出す。
• 活性化を変更する生成器内の層を選択することで、摂動の粒度を制御する：初期の層では粗い変化、後の層では細かい変化が得られる。
• 最小の摂動がターゲット分類を誤らせるようにしながら、知覚的に妥当な状態を維持するための勾配ベースの最適化プロセスを用いる。
• 摂動の大きさを段階的に増加させながら、誤分類を引き起こす摂動の割合を測定することで、モデルのロバストネスを評価する。
• 真の画像ラベルに意味的に影響を与えるものかどうかを確認するため、人間の判断によるフィルタリングを実施し、意味的に関連する変化のみを対象とする。
• さまざまな摂動の粒度において、標準的および adversarially 訓練された ImageNet および MNIST 分類器を比較する。

実験結果

リサーチクエスチョン

• RQ1 境界付きピクセル摂動に対する adversarial training は、文脈に依存する高レベルの特徴変化に対するロバストネスを向上させるか？
• RQ2 最先端の画像分類器のロバストネスは、文脈に依存する特徴摂動のさまざまな粒度においてどのように変化するか？
• RQ3 意味的整合性を保った文脈に依存する摂動は、標準的なピクセル単位の摂動よりも、モデルの脆弱性をより効果的に露呈するか？
• RQ4 微細なテクスチャーや色の変化に対するロバストネスは、どの程度、粗い粒度の形状や構造的変化に対するロバストネスに一般化されるか？

主な発見

• 最先端の画像分類器は、いかなる粒度の文脈に依存する特徴摂動に対してもロバストでないことが判明し、分布シフトに対する根本的な脆弱性を示している。
• ピクセル空間における摂動に対する adversarial training は、粗い粒度の文脈に依存する変化に対するロバストネスを向上させず、むしろ顕著に低下させている。
• MNIST では、adversarial training により微細な摂動（生成器の最後の4層）に対するロバストネスは向上するが、粗い粒度の変化（最初の4層）に対しては恩恵がない。これは、スケールを拡大しても同様の傾向が確認された。
• 粗い粒度の特徴に対する adversarial training の失敗は、このようなモデルが粗い特徴に依存している可能性を示唆し、意味的レベルのシフトに対してより敏感である可能性を示している。
• 潜在空間の操作により生成された摂動は、物体の形状やシーン構造の変更といった意味的に妥当な変化を生み出すが、これは標準的な ℓp-ノルム による境界付き摂動よりも現実的で情報量が多い。