[論文レビュー] Adversarial Self-Defense for Cycle-Consistent GANs

Dina Bashkirova, Ben Usman+1 more|arXiv (Cornell University)|Aug 5, 2019

Adversarial Robustness in Machine Learning参考文献 30被引用数 22

ひとこと要約

本論文は、サイクル整合性GANにおける自己対抗的攻撃を特定し、生成器がサイクル整合性損失を満たすために入力情報を見えないノイズに隠す現象を明らかにした。著者らは、ノイズ正則化と推測損失の2つの防御手法を提案し、そのことで隠された埋め込みを低減させ、翻訳品質、再構成の誠実さ、高周波数摂動に対する耐性が向上することを示した。

ABSTRACT

The goal of unsupervised image-to-image translation is to map images from one domain to another without the ground truth correspondence between the two domains. State-of-art methods learn the correspondence using large numbers of unpaired examples from both domains and are based on generative adversarial networks. In order to preserve the semantics of the input image, the adversarial objective is usually combined with a cycle-consistency loss that penalizes incorrect reconstruction of the input image from the translated one. However, if the target mapping is many-to-one, e.g. aerial photos to maps, such a restriction forces the generator to hide information in low-amplitude structured noise that is undetectable by human eye or by the discriminator. In this paper, we show how such self-attacking behavior of unsupervised translation methods affects their performance and provide two defense techniques. We perform a quantitative evaluation of the proposed techniques and show that making the translation model more robust to the self-adversarial attack increases its generation quality and reconstruction reliability and makes the model less sensitive to low-amplitude perturbations.

研究の動機と目的

• 非教師あり画像間翻訳モデル、特に多対一マッピングにおいて、自己対抗的攻撃現象を特定し分析すること。
• 生成器がサイクル整合性損失を欺くために使用する隠れた構造的ノイズの存在を定量化すること。
• 対抗的ノイズへの依存を低減させ、モデルの誠実さと耐性を向上させる防御機構を開発すること。
• 自己対抗的行動を検出するための新しい評価指標（再構成の誠実さ（RH）とノイズへの感受性（SN））を導入すること。
• 自己対抗的攻撃に対する耐性を高めることで、翻訳タスクにおける一般化性能と信頼性が向上することを示すこと。

提案手法

• 訓練中に高周波数ノイズを追加することで、生成器が再構成に構造的ノイズに依存しないようにするノイズ正則化防御を提案する。
• 生成器がより解釈可能な出力を生成するよう促すために、妥当なクラス予測からの逸脱をペナルティ化する推測損失を導入する。
• 再構成の誠実さ（RH）を、追加されたノイズの振幅に応じた再構成誤差のスケーリングを測定する指標として定義し、隠れた埋め込みの存在を示す。
• ノイズへの感受性（SN）を、翻訳出力における高周波数摂動に対するモデルの脆弱性を定量化する指標として定義する。
• ノイズ正則化と推測損失の両方の防御を、CycleGAN、UNIT、MUNITに適用し、セマンティックセグメンテーションと再構成忠実度への影響を評価する。
• 平均クラスごとのセグメンテーション精度、IoU、再構成誤差の分布といった定量的指標を用いて、性能向上を評価する。

実験結果

リサーチクエスチョン

• RQ1 サイクル整合性損失は、非教師あり画像間翻訳モデルに自己対抗的行動を誘発する程度はどの程度か？
• RQ2 隠れた構造的ノイズの存在は、高周波数摂動に対するモデルの耐性にどのように影響するか？
• RQ3 ノイズ正則化や推測損失といった対抗的防御技術は、隠れた埋め込みを低減させ、モデルの誠実さを向上させることができるか？
• RQ4 提案された指標（RHとSN）は、翻訳品質および再構成信頼性とどの程度相関するか？
• RQ5 自己対抗的攻撃に対する耐性を高めることで、一般化性能が向上し、出力がより解釈可能になるか？

主な発見

• 自己対抗的攻撃は、特に空中写真からセマンティックマップへの多対一マッピングのような状況において、サイクル整合性GANに広く見られる現象であり、生成器が入力の詳細を見えないノイズに隠している。
• 元のCycleGANとUNITはノイズに非常に感受性が高く、ノイズ振幅が0.08に達する段階で再構成誤差が急激に増加しており、強い隠れた埋め込みの存在を示している。
• ノイズ正則化防御により、GTA Vでは再構成誤差（RH）が27.434から9.166に、Google Mapsでは21.775から12.266に低下し、耐性が顕著に向上した。
• 推測損失防御により、GTA VではRHが11.380に、Google Mapsでは7.467に低下し、一部のセマンティック誤りが生じるものの、より解釈可能な再構成が得られた。
• 両方の防御により、セグメンテーション精度（Google Mapsで最大0.242向上）とIoU（最大0.224向上）が向上し、翻訳品質が向上したことが示された。
• 防御を施したモデルはノイズ感受性（SN）が低下し、ノイズ対するSNが446.924から94.150に、推測損失対するSNが212.589から低下した。これにより、対抗的ノイズへの依存が顕著に減少したことが確認された。