[論文レビュー] Generating Semantic Adversarial Examples with Differentiable Rendering

Lakshya Jain, Steven Chen+5 more|arXiv (Cornell University)|Sep 25, 2019

Adversarial Robustness in Machine Learning参考文献 44被引用数 8

ひとこと要約

本論文は、レンダリングの微分可能化と逆画像処理を活用して、画素レベルのノイズではなく、意味的環境（例：空の状態の変更）を変更することで、意味的敵対的例（SAEs）を生成する新規手法を提案する。このアプローチにより、より自然で意味的に意味のある摂動が可能となり、深層ニューラルネットワークを欺くことができる。標準の敵対的防御を効果的に回避することが示された。

ABSTRACT

Machine learning (ML) algorithms, especially deep neural networks, have demonstrated success in several domains. However, several types of attacks have raised concerns about deploying ML in safety-critical domains, such as autonomous driving and security. An attacker perturbs a data point slightly in the concrete feature space (e.g., pixel space) and causes the ML algorithm to produce incorrect output (e.g. a perturbed stop sign is classified as a yield sign). These perturbed data points are called adversarial examples, and there are numerous algorithms in the literature for constructing adversarial examples and defending against them. In this paper we explore semantic adversarial examples (SAEs) where an attacker creates perturbations in the semantic space representing the environment that produces input for the ML model. For example, an attacker can change the background of the image to be cloudier to cause misclassification. We present an algorithm for constructing SAEs that uses recent advances in differential rendering and inverse graphics.

研究の動機と目的

• 自動運転などの安全が求められるアプリケーションにおける機械学習モデルの敵対的攻撃への脆弱性を解消すること。
• 画素レベルの摂動ではなく、意味的シーン属性（例：天候、照明）を変更する敵対的例を検討すること。
• 微分可能レンダリングと逆画像処理を用いて、現実的で意味的に意味のある敵対的例を生成する手法を開発すること。
• このような意味的摂動が、標準の敵対的耐性防御を回避できるかを評価すること。

提案手法

• レンダリングプロセスを微分可能にすることで、勾配計算をレンダリングプロセス全体にまで及ばせ、モデルの予測結果から意味的シーンパラメータへ逆伝播を可能にする。
• 逆画像処理を用いて、レンダリング時に所望のモデル出力を得るためのシーンパラメータ（例：照明、空の色）を推定する。
• 雲の密度、環境光など、意味的シーン属性を最適化して、入力画像を誤分類させる敵対的例を生成する。
• 微分可能レンダリングパイプラインをニューラルネットワーク分類器と統合し、意味的摂動のエンドツーエンド最適化を可能にする。
• 異なるレンダラーを用いて、シーンパラメータから現実的な画像生成をシミュレートし、摂動が視覚的に妥当であることを保証する。
• 意味空間における摂動を最小限に抑えつつ、モデルの誤分類損失を最大化する最適化手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 微分可能レンダリングを用いて、天候や照明などの高レベルのシーン属性を変更する意味的敵対的例を生成できるか？
• RQ2 従来の画素レベルの敵対的攻撃と比較して、これらの意味的摂動は誤分類にどの程度有効か？
• RQ3 画素空間の摂動を標的とする標準の敵対的防御機構に対して、意味的敵対的例はどの程度回避可能か？
• RQ4 生成された意味的敵対的例はどれほど現実的で、人間の知覚に自然に感じられるか？

主な発見

• 提案手法は、空の状態や照明などの高レベルのシーン属性を変更する意味的敵対的例を効果的に生成できた。
• 生成された敵対的例は、従来の画素ベースの攻撃と同等の高水準の欺瞞率を達成した。
• 意味的敵対的例は、画素レベルの摂動を標的とする標準の敵対的防御技術に対して、より高い耐性を示した。
• 摂動は視覚的に妥当で意味的に意味のあるものであり、視覚的検査では検出が困難であった。