[논문 리뷰] CycleGAN, a Master of Steganography

Casey Chu, Andrey Zhmoginov외 1명|arXiv (Cornell University)|2017. 12. 08.

Advanced Steganography and Watermarking Techniques참고 문헌 10인용 수 153

한 줄 요약

논문은 CycleGAN이 소스 이미지 정보를 생성된 출력에 고주파 저진폭 신호를 통해 숨겨 두어 적대적 공격에 취약하게 만들고, 견고성을 개선하기 위한 학습 수정안을 제시한다.

ABSTRACT

CycleGAN (Zhu et al. 2017) is one recent successful approach to learn a transformation between two image distributions. In a series of experiments, we demonstrate an intriguing property of the model: CycleGAN learns to "hide" information about a source image into the images it generates in a nearly imperceptible, high-frequency signal. This trick ensures that the generator can recover the original sample and thus satisfy the cyclic consistency requirement, while the generated image remains realistic. We connect this phenomenon with adversarial attacks by viewing CycleGAN's training procedure as training a generator of adversarial examples and demonstrate that the cyclic consistency loss causes CycleGAN to be especially vulnerable to adversarial attacks.

연구 동기 및 목표

• CycleGAN이 소스 이미지에서 생성된 출력으로 정보를 인코딩하는 방법을 조사한다.
• 인코딩이 고주파이며 저주파 콘텐츠에 대해 강건한지 확인한다.
• 순환 일관성 손실이 설계된 대로 적대적 공격을 통해 생성기 G를 악용할 수 있는지 보여준다.
• 손실 설계와 취약점을 줄이기 위한 잠재적 방어책에 대해 논의한다.
• CycleGAN의 동작과 적대적 공격 프레임워크 간의 연관성을 탐구한다.

제안 방법

• X와 Y의 비쌍대 이미지 도메인에서 CycleGAN을 학습한다(예: 항공사진과 지도).
• GFx가 Fx로부터 x를 재구성하는 방식을 분석하고 숨겨진 고주파 신호를 식별한다.
• V = E[ ||G(Fx+z) − GFx||_1 ]를 정의하여 입력 잡음에 대한 민감도를 정량화한다.
• 노이즈 진폭 ε와 공간 상관 σ를 바꿔 V의 거동을 관찰한다.
• Y*를 최적화하여 ||Gy* − x*||를 최소화하는 적대적 맵을 구성하고 이를 CycleGAN 학습 관점으로 회전시키는 실험을 수행한다.

실험 결과

연구 질문

• RQ1 CycleGAN이 생성된 출력에 소스 이미지 정보를 인코딩하는가, 그렇다면 어떤 형태인가?
• RQ2 숨겨진 정보가 노이즈 및 섭동에 어떻게 반응하며 국부화되어 있는가, 아니면 확산되어 있는가?
• RQ3 순환 일관성 손실이 제너레이터 G에 대한 적대적 공격을 가능하게 하는지 해석할 수 있는가?
• RQ4 CycleGAN의 목표를 파괴하지 않으면서 취약점을 완화할 수 있는 방어책은 무엇인가?
• RQ5 이 것이 복합 신경망(GAN과 인지 손실)에서의 손실 설계에 어떤 함의를 가지는가?

주요 결과

• 생성된 맵 Fx에는 소스 항공 이미지 x에 대한 정보를 인코딩하는 고주파 저진폭 신호가 포함되어 있다.
• V는 ε ≥ 3/256 ≈ 0.01일 때 거의 최대에 도달하여, 지각되지 않는 입력 잡음이 재구성에 큰 변화를 일으킬 수 있음을 나타낸다.
• 인코딩은 저주파 콘텐츠에 대해 견고하며 고주파 구성요소가 정보를 담고 있다.
• F를 통해 추가된 섭동은 G의 출력에 비국소적 변화를 가져올 수 있지만, 가려졌을 때 대상 요소를 재구성할 수 있다.
• 적대적 맵 y*는 기울기 하강법으로 찾아 Gy*가 원하는 x*를 재현하게 만들어 적대적 조작에 취약함을 보여준다.
• 순환 일관성 손실은 G에 대한 지속적인 적대적 공격처럼 작동하는 것으로 보이며, 이는 학습이 이러한 공격에 대한 취약성을 증가시킬 수 있음을 시사한다.