[論文レビュー] Certified Defense to Image Transformations via Randomized Smoothing

Marc Fischer, Maximilian Baader+1 more|arXiv (Cornell University)|Feb 27, 2020

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 5

ひとこと要約

本論文は、回転や平行移動などの画像変換について、パrameterized変換に拡張されたランダムスムージングを用いた、最初の認証可能防御を提案する。補間誤差を統計的解析または効率的な逆計算によって制限することで、分布的および個別的ロバスト性保証を達成し、制限付きImageNetの50%の画像に対して±30°回転に対して認証可能なロバスト性を示した。

ABSTRACT

Fair representation learning provides an effective way of enforcing fairness constraints without compromising utility for downstream users. A desirable family of such fairness constraints, each requiring similar treatment for similar individuals, is known as individual fairness. In this work, we introduce the first method thatenables data consumers to obtain certificates of individualfairness for existing andnew data points. The key idea is to map similar individuals toclose latent representations and leverage this latent proximity to certify individual fairness. That is, our method enables the data producer to learn and certify a representation where for a data point all similar individuals are at ℓ∞-distance at most epsilon, thus allowing data consumers to certify individual fairness by proving epsilon-robustness of their classifier. Our experimental evaluation on five real-world datasets and several fairnessconstraints demonstrates the expressivity and scalability of our approach.

研究の動機と目的

• 回転などの非合成的幾何変換（補間を伴う）に対する認証の課題に取り組むこと。これは合成性を破り、標準的なℓpベースの認証を無効にする。
• ランダムスムージングをℓpノルムの摂動から、回転角や平行移動ベクトルなどのパrameterized変換に拡張すること。
• 確率的または決定的誤差境界のもとで、分布的および個別的ロバスト性保証を両方提供する新しい認証手法を開発すること。
• ResNet-50 on ImageNetのような大規模モデルやデータセットに対し、実用的な認証を可能にすること。過去の手法は計算的または合成的制約により失敗していた。

提案手法

• 変換パrameter（例：回転角、平行移動ベクトル）にガウスノイズを追加することで、ランダムスムージングをパrameterized変換に拡張し、パrameter空間におけるロバスト性認証を可能にする。
• 合成的変換のためのベースライン手法としてBASESPTを導入。これは標準的なランダムスムージングの保証を継承するが、補間を伴う非合成的変換（例：補間付き回転）では失敗する。
• INDIVSPTを提案。推論時に、元の画像にアクセスせずに補間誤差の上界を推定することで、個別的な証明を計算する。区間解析と変換の効率的逆計算を用いる。
• DISTSPTを提案。データ分布全体における補間誤差の確率的上界を推定することで、INDIVSPTよりもタイトな境界を達成するが、確率的保証を必要とする。
• DISTSPTDを導入。高信頼度qEのもとで、事前推定により誤差境界を求める。分布的および個別的保証の両方を提供する。
• DISTSPTxを提案。テストセットの各画像に対して個別に境界を計算することで、DISTSPTDよりもタイトな境界を達成するが、個別保証は提供しない。

実験結果

リサーチクエスチョン

• RQ1 補間効果により合成性を失う回転や平行移動などのパrameterized変換に、ランダムスムージングを一般化できるか？
• RQ2 補間により摂動された画像を正確に逆変換できない場合、幾何変換のパrameter空間におけるロバスト性はどのように認証できるか？
• RQ3 非合成的変換を取り扱う際の、さまざまな認証保証のトレードオフ（分布的 vs. 個別的、決定的 vs. 確率的）は何か？
• RQ4 変換の効率的逆計算を用いることで、補間誤差の存在下で個別証明のタイトさを向上させられるか？

主な発見

• 本手法は、ResNet-50を用いて制限付きImageNetの50%の画像に対して±30°回転に対して認証可能なロバスト性を達成し、大規模モデルやデータセットへのスケーラビリティを示した。
• MNISTにおける回転攻撃に対して、INDIVSPTは81%の認証率を達成し、スムージングの平均推論時間は25.03秒、誤差解析は0.26秒であった。
• MNISTにおける平行移動攻撃に対して、INDIVSPTは59%の画像に対してロバスト性を認証し、平均解析時間は14.14秒、スムージング時間は19.89秒であった。
• DISTSPTDは高信頼度qEのもとで、分布的および個別的保証を提供し、決定的誤差境界の要件を緩和することで、INDIVSPTよりもタイトな境界を達成した。
• DISTSPTxは、各画像の境界を計算することでDISTSPTDよりもタイトな境界を達成したが、個別保証は提供せず、分布的保証のみであった。
• 本手法は回転や平行移動を超えて、他のパrameterized変換および補間方式へも一般化可能であり、音声処理への応用も含む。