[論文レビュー] CycleGAN, a Master of Steganography

Casey Chu, Andrey Zhmoginov+1 more|arXiv (Cornell University)|Dec 8, 2017

Advanced Steganography and Watermarking Techniques参考文献 10被引用数 153

ひとこと要約

この論文は CycleGAN が生成出力に元画像情報を高周波・低振幅の信号として隠すことを明らかにし、それが対抗的攻撃に対して脆弱であると示し、頑健性を向上させるための学習の修正を提案する。

ABSTRACT

CycleGAN (Zhu et al. 2017) is one recent successful approach to learn a transformation between two image distributions. In a series of experiments, we demonstrate an intriguing property of the model: CycleGAN learns to "hide" information about a source image into the images it generates in a nearly imperceptible, high-frequency signal. This trick ensures that the generator can recover the original sample and thus satisfy the cyclic consistency requirement, while the generated image remains realistic. We connect this phenomenon with adversarial attacks by viewing CycleGAN's training procedure as training a generator of adversarial examples and demonstrate that the cyclic consistency loss causes CycleGAN to be especially vulnerable to adversarial attacks.

研究の動機と目的

• CycleGAN が元画像から情報をどのように生成出力へエンコードするかを調査する。
• エンコードが高周波であり、低周波成分には頑健であることを示す。
• 循環一貫性損失が、巧妙に作成された入力を介して対抗攻撃を可能にすることを示す。
• 損失設計への影響と、脆弱性を低減する潜在的防御策を検討する。
• CycleGAN の挙動と敵対的攻撃フレームワークとの関連を探る。

提案手法

• ペアなしの画像ドメイン X および Y（例：航空写真と地図）上で CycleGAN を訓練する。
• GFx が Fx から x を再構成する仕組みを分析し、隠れた高周波信号を特定する。
• V = E[ ||G(Fx+z) − GFx||_1 ] を定義して、入力ノイズに対する感度を定量化する。
• ノイズ振幅 ε および空間相関 σ を用いて V の挙動を観察する。
• Gy* を最小化するよう y* を最適化して敵対的マップを構築することを実証し、これを CycleGAN の訓練視点へ回す。

実験結果

リサーチクエスチョン

• RQ1 CycleGAN は生成出力に元画像情報をエンコードしているか、している場合はどのような形か。
• RQ2 隠れた情報はノイズや摂動にどう応答し、それは局所化しているのか、それとも広がっているのか。
• RQ3 循環一貫性損失は、生成器 G に対する敵対的攻撃を可能にする解釈ができるか。
• RQ4 CycleGAN の目的を崩さずに脆弱性を緩和する防御策は何か。
• RQ5 複合ニューラルネットワーク（例：GANs や知覚損失）における損失設計に対して、これがどのような影響を与えるか。

主な発見

• 生成された地図 Fx は、元の空中画像 x に関する情報をエンコードする高周波・低振幅の信号を含んでいる。
• V は ε ≥ 3/256 ≈ 0.01 のときほぼ最大に達し、知覚できない入力ノイズが再構成に大きな変化を引き起こすことを示している。
• エンコードは低周波成分には頑健であり、高周波成分が情報を運ぶ。
• F を介して加えられた摂動は G の出力に非局所的な変化を生じさせることがあるが、適切にマスクされた場合には標的要素を再構成できる。
• 勾配降下によって任意の x* を再現させる Gy* を見つけることができ、敵対的操作への脆弱性を示している。
• 循環一貫性損失は G に対する継続的な敵対的攻撃のように機能するように見え、訓練がこの種の攻撃に対する感受性を高めうることを示唆している。