[論文レビュー] Beyond Pixel Norm-Balls: Parametric Adversaries using an Analytically Differentiable Renderer

Hsueh‐Ti Derek Liu, Michael Tao+3 more|arXiv (Cornell University)|Aug 8, 2018

Adversarial Robustness in Machine Learning参考文献 60被引用数 65

ひとこと要約

本論文は、物理ベースの微分可能レンダラを用いて物理的な画像形成パラメータ（照明と幾何学）を摂動することでパラメトリックノルムボールを提案し、現実的な敵対例とレンダリングベースのデータ拡張を可能にする。

ABSTRACT

Many machine learning image classifiers are vulnerable to adversarial attacks, inputs with perturbations designed to intentionally trigger misclassification. Current adversarial methods directly alter pixel colors and evaluate against pixel norm-balls: pixel perturbations smaller than a specified magnitude, according to a measurement norm. This evaluation, however, has limited practical utility since perturbations in the pixel space do not correspond to underlying real-world phenomena of image formation that lead to them and has no security motivation attached. Pixels in natural images are measurements of light that has interacted with the geometry of a physical scene. As such, we propose the direct perturbation of physical parameters that underly image formation: lighting and geometry. As such, we propose a novel evaluation measure, parametric norm-balls, by directly perturbing physical parameters that underly image formation. One enabling contribution we present is a physically-based differentiable renderer that allows us to propagate pixel gradients to the parametric space of lighting and geometry. Our approach enables physically-based adversarial attacks, and our differentiable renderer leverages models from the interactive rendering literature to balance the performance and accuracy trade-offs necessary for a memory-efficient and scalable adversarial data augmentation workflow.

研究の動機と目的

• ピクセル空間の敵対者を超え、実世界の画像形成を反映する物理的に基づく摂動を動機づける。
• シーンパラメータに対してピクセル色を解析的に微分する微分可能レンダラを導入する。
• 照明と幾何のパラメトリックスペースでの敵対的攻撃を実証し、それらの現実性と有効性を評価する。
• 現実世界の摂動に対する頑健性を高めるためのレンダリングされた敵対的データ拡張を検討する。

提案手法

• 照明と幾何に対する解析的微分を備えた物理ベースの微分可能レンダラを開発する。
• 照明を球面調和関数で表現し、照明係数に対する勾配計算を効率化する。
• 三角形メッシュの頂点調整によって幾何摂動をモデル化し、頂点法線の解析的導関数を計算する。
• C(I)= -CrossEntropy(f(I),Ld) + CrossEntropy(f(I),Li) を介してレンダラと分類器を結ぶ勾配を連鎖させ、パラメトリック敵対的目的を定義する。
• 敵対的照明と幾何攻撃を実行し、マルチビューやサブスペース照明（例: 天空光）へ拡張する。

実験結果

リサーチクエスチョン

• RQ1 照明と幾何におけるパラメトリック（物理的に基づく）摂動は、画像分類器に対して有効な敵対的例を生み出すだろうか？
• RQ2 パラメトリック敵対者は、モデル間や視点条件間で、ピクセル空間攻撃よりも良く一般化するだろうか、あるいは異なるだろうか？
• RQ3 微分可能な物理ベースのレンダリングは、現実世界の画像形成の変動に対する頑健性を向上させるスケーラブルな敵対的データ拡張を可能にするか？

主な発見

• パラメトリックノルムボールは、照明と幾何における現実的な敵対的摂動を可能にし、分類器の決定に大きく影響を与える。
• 解析的に微分可能なレンダラは、照明と幾何に対する高速でスケーラブルな導関数を提供し、速度とメモリ使用量の点で従来の微分可能レンダラを上回る。
• パラメトリック敵対者はモデル間の転移性を示し、未知の視点を欺くことができ、パラメトリック攻撃のより広い適用性を示唆している。
• レンダリングされた敵対的例は、現実の写真に対する頑健性を向上させるデータ拡張に利用できる。
• マルチビュー敵対照照明は、複数のビューからの損失を組み合わせて、複数の視点から分類器を欺く摂動を作成できる。