[논문 리뷰] Hijack-GAN: Unintended-Use of Pretrained, Black-Box GANs

Hui‐Po Wang, Ning Yu외 1명|arXiv (Cornell University)|2020. 11. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 7

한 줄 요약

이 논문은 스타일 제너레이터(GAN)와 PGGAN과 같은 사전 훈련된 GAN에 대한 고수준 제어를 가능하게 하는 블랙박스 프레임워크인 Hijack-GAN을 소개한다. 이는 매우 비선형적인 잠재공간을 가진 GAN에 대해 모델 파라미터에 접근하지 않고도 효과적으로 제어할 수 있도록 한다. 반복 최적화를 통해 잠재 코드를 최적화하고 직교 제약 조건을 적용함으로써, 얼굴 속성, 머리 자세, 랜드마크 등 특정 속성에 특화된 부드러운 이미지 편집을 실현한다. 이는 사전 훈련된 GAN이 원래 설계된 목적 이외의 다양한 비전 작업에 뜻밖이지만 효과적으로 재사용될 수 있음을 보여주며, GAN 모델의 공개 배포 전 주의가 필요하다는 점을 경고한다.

ABSTRACT

While Generative Adversarial Networks (GANs) show increasing performance and the level of realism is becoming indistinguishable from natural images, this also comes with high demands on data and computation. We show that state-of-the-art GAN models -- such as they are being publicly released by researchers and industry -- can be used for a range of applications beyond unconditional image generation. We achieve this by an iterative scheme that also allows gaining control over the image generation process despite the highly non-linear latent spaces of the latest GAN models. We demonstrate that this opens up the possibility to re-use state-of-the-art, difficult to train, pre-trained GANs with a high level of control even if only black-box access is granted. Our work also raises concerns and awareness that the use cases of a published GAN model may well reach beyond the creators' intention, which needs to be taken into account before a full public release. Code is available at https://github.com/hui-po-wang/hijackgan.

연구 동기 및 목표

• 사전 훈련된 GAN의 모델 파라미터에 접근하지 않고도 블랙박스 접근만으로 고수준의 제어 가능한 이미지 생성을 가능하게 하기 위해.
• 현대 GAN의 비선형 잠재공간에서 선형 조작 방법의 한계를 극복하기 위해 반복 최적화 기반의 새로운 방법을 도입하기 위해.
• 새로운 직교 제약 조건을 통해 비타겟 속성을 최소한으로 유지하면서 정밀한 속성 특화 편집을 실현하기 위해.
• 원래 설계 목적 이외의 작업, 예를 들어 머리 자세나 랜드마크 조작과 같은 작업에 대해 GAN의 뜻밖이지만 효과적인 재사용 가능성을 입증하기 위해.
• 의도하지 않은 모델 사용의 위험성에 대한 경각심을 고취시키고, GAN 모델의 공개 배포 전 신중함이 필요하다는 점을 제기하기 위해.

제안 방법

• 백프로파게이션 없이 GAN의 생성기 동작을 근사하는 프록시 모델을 훈련하여, 잠재공간에서 기울기 기반 최적화 없이도 최적화를 가능하게 한다.
• 비선형 잠재공간을 탐색하기 위해 반복 최적화 기반의 방법을 사용하며, 추정된 기울기를 바탕으로 잠재 코드 갱신 방향을 동적으로 조정한다.
• 직교 제약 조건(식 4)을 적용하여 편집이 타겟 속성에만 영향을 주고 다른 속성의 변화를 최소화하도록 보장한다.
• 사전 훈련된 작업 모델(예: HopeNet, MTCNN)을 블랙박스 분류기로 활용하여 최적화가 원하는 이미지 속성 쪽으로 유도되도록 한다.
• 제너레이터의 국소적 동작을 근사하기 위해 추정된 기울기(Jacobian 기반)를 활용하여 잠재공간 내에서 안정적이고 부드러운 전이를 가능하게 한다.
• 다중 속성과 자세를 조건으로 삼아 최적화를 수행함으로써, 특히 엉키기 쉬운 잠재공간에서도 세밀한 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 GAN이 블랙박스 접근만으로도 의도하지 않은 비전 작업에 효과적으로 재사용될 수 있는가?
• RQ2 스타일 제너레이터와 같은 현대 GAN의 매우 비선형적인 잠재공간에서 고수준 제어는 어떻게 달성할 수 있는가?
• RQ3 관련 없는 속성에 영향을 주지 않으면서 얼마나 정밀하게 속성 특화 편집을 수행할 수 있는가?
• RQ4 정확성과 속성 전이의 부드러움 측면에서 반복 최적화 방법은 선형이고 비반복적인 방법보다 어떻게 비교되는가?
• RQ5 사전 훈련된 GAN의 잠재공간에서 속성 간에 측정 가능한 엉킴이 존재하는가(예: 미소와 입술 랜드마크 사이의 관계)?

주요 결과

• 제안된 반복 최적화 프레임워크는 InterfaceGAN과 같은 선형 기반 베이스라인에 비해, 특히 잠재공간 내 거리가 긴 경우 더 낮은 근사 오차를 기록한다.
• 직교 제약 조건은 속성 특이도를 크게 향상시켜, 이전 방법들보다 비타겟 속성을 더 잘 유지한다.
• 낮은 신뢰도 샘플을 제외한 경우, 미소 속성 조작에서 더 높은 정확도를 보이며, 이는 애너테이션 품질에 민감함을 시사한다.
• 작은 스텝 크기 0.01을 사용하여 1000단계에 걸쳐 요동과 피치 축을 기준으로 머리 자세 조작이 부드럽게 이루어졌으며 성공적으로 수행되었다.
• 속성 간에 측정 가능한 엉킴이 존재한다: 입술 랜드마크와 미소 사이의余弦 유사도는 0.296이며, 코 랜드마크와 요동 사이의 유사도는 0.5014이다.
• 모델 파라미터에 접근할 수 없음에도 불구하고, 얼굴 랜드마크와 같은 국소적이고 세밀한 속성의 편집이 효과적으로 가능함을 보여주며, GAN의 뜻밖의 재사용 가능성은 입증되었다.