[論文レビュー] Adversarial Geometry and Lighting using a Differentiable Renderer

Hsueh‐Ti Derek Liu, Michael Tao+3 more|arXiv (Cornell University)|Aug 8, 2018

Adversarial Robustness in Machine Learning被引用数 13

ひとこと要約

本論文は、ピクセル値ではなく物理的パラメータ（照明および幾何）を直接摂動することで、勾配ベース最適化を可能にする微分可能レンダラを用いた敵対的攻撃を提案する。主な貢献は、パラメトリックノルムボールを用いた物理的に根拠のある評価フレームワークを提示し、視覚モデルにおけるより現実的で安全な敵対的ロバストネス評価を実現することである。

ABSTRACT

Many machine learning image classifiers are vulnerable to adversarial attacks, inputs with perturbations designed to intentionally trigger misclassification. Current adversarial methods directly alter pixel colors and evaluate against pixel norm-balls: pixel perturbations smaller than a specified magnitude, according to a measurement norm. This evaluation, however, has limited practical utility since perturbations in the pixel space do not correspond to underlying real-world phenomena of image formation that lead to them and has no security motivation attached. Pixels in natural images are measurements of light that has interacted with the geometry of a physical scene. As such, we propose the direct perturbation of physical parameters that underly image formation: lighting and geometry. As such, we propose a novel evaluation measure, parametric norm-balls, by directly perturbing physical parameters that underly image formation. One enabling contribution we present is a physically-based differentiable renderer that allows us to propagate pixel gradients to the parametric space of lighting and geometry. Our approach enables physically-based adversarial attacks, and our differentiable renderer leverages models from the interactive rendering literature to balance the performance and accuracy trade-offs necessary for a memory-efficient and scalable adversarial data augmentation workflow.

研究の動機と目的

• 現在の敵対的攻撃がピクセル空間でのみ動作するという限界に対処すること。これは、現実世界の画像形成プロセスと対応しない。
• 照明および幾何などの現実世界の現象を反映する、物理的に意味のある敵対的評価フレームワークを開発すること。
• 物理的レンダラを微分可能にすることで、敵対的例の勾配ベース最適化を可能にすること。
• 機械学習における敵対的ロバストネス評価の実用的関連性とセキュリティ的動機付けを高めること。
• 微分可能レンダリングを用いた敵対的データ拡張において、計算効率と正確さのバランスをとること。

提案手法

• 著者らは、インタラクティブレンダリングのモデルを基にした微分可能レンダラを導入し、ピクセル空間から照明および幾何パラメータへのバックプロパゲーションを可能にした。
• 彼らは、照明および幾何パラメータの指定範囲内の摂動集合としてパラメトリックノルムボールを定義し、従来のピクセルノルム制約に代わるものとした。
• この手法は、照明および幾何パラメータを直接最適化することで、勾配降下法を用いて敵対的例を生成する。
• 微分可能レンダラは、ピクセルレベルの損失が照明方向、強度、およびシーン幾何にたいして微分可能である。
• 効率的なレンダリング技術を活用することで、スケーラブルかつメモリ効率の良い敵対的データ拡張を実現した。
• フレームワークにより、物理的に妥当な摂動下でのモデルのエンドツーエンドの訓練および評価が可能になった。

実験結果

リサーチクエスチョン

• RQ1 ピクセル空間ではなく物理的パラメータ空間で攻撃することで、敵対的攻撃をより現実的にできるか？
• RQ2 ピクセルではなく照明および幾何を摂動させた場合、敵対的攻撃の性能はどのように変化するか？
• RQ3 パラメトリックノルムボールは、従来のピクセルノルム制約に比べて、どれほどより安全で実用的なロバストネス評価を提供するか？
• RQ4 微分可能レンダラは、物理的パラメータ摂動のための効率的かつ正確な勾配ベース最適化を可能にするか？
• RQ5 本手法は、ピクセルベースの敵対的訓練と比較して、ロバストネスおよび一般化性能においてどのように異なるか？

主な発見

• 提案手法により、現実世界の画像形成プロセスとより整合性のある物理的根拠を持つ敵対的攻撃が可能になった。
• パラメトリックノルムボールは、従来のピクセルノルム制約に比べ、より意味的で安全な評価指標を提供する。
• 微分可能レンダラは、ピクセルから照明および幾何パラメータへの勾配を的確に伝搬でき、効果的な最適化を可能にした。
• 効率的なレンダリング技術を活用することで、スケーラブルかつメモリ効率の良い敵対的データ拡張が実現された。
• 照明および幾何の摂動によって生成された敵対的例は、現実世界の劣化要因に対してより高い実用的関連性とロバストネスを示した。
• 標準的なピクセルベース攻撃と比較して、本手法は物理的摂動が加えられた状況下でモデルのロバストネスを向上させた。