[논문 리뷰] Out-domain examples for generative models.

Dario Pasquini, Marco Mingione외 1명|arXiv (Cornell University)|2019. 03. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 4

한 줄 요약

이 논문은 사전 훈련된 생성 모델의 잠재 공간을 조작함으로써 적대적 입력이 비도메인 예시—희귀하거나 불가능한 출력—를 강제로 생성할 수 있음을 보여준다. 이 방법은 실제 입력과 구분되지 않는 적대적 노이즈를 생성하여, 낮은 확률의 도메인 외부 샘플을 신뢰성 있게 재현할 수 있다.

ABSTRACT

Deep generative models are being increasingly used in a wide variety of applications. However, the generative process is not fully predictable and at times, it produces an unexpected output. We will refer to those outputs as out-domain examples. In the present paper we show that an attacker can force a pre-trained generator to reproduce an arbitrary out-domain example if fed by a suitable adversarial input. The main assumption is that those outputs lie in an unexplored region of the generator's codomain and hence they have a very low probability of being naturally generated. Moreover, we show that this adversarial input can be shaped so as to be statistically indistinguishable from the set of genuine inputs. The goal is to look for an efficient way of finding these inputs in the generator's latent space.

연구 동기 및 목표

• 사전 훈련된 생성 모델이 임의의 도메인 외부 예시를 생성하도록 조작할 수 있는지 조사하는 것.
• 이러한 예상치 못한 낮은 확률의 출력을 유도하는 잠재 공간 내의 적대적 입력을 특정하는 것.
• 이러한 적대적 입력이 진짜 입력과 통계적으로 구분되지 않도록 보장하여 은밀함을 유지하는 것.
• 생성기의 코드도메인 내에서 이러한 적대적 입력을 효율적으로 탐색하는 방법을 개발하는 것.

제안 방법

• 이 방법은 사전 훈련된 생성기에 입력할 적대적 잠재 벡터를 탐색하여 목표 도메인 외부 예시를 생성하도록 하는 것이다.
• 이 방법은 도메인 외부 예시가 생성기 출력 공간의 낮은 확률 영역에 위치한다고 가정한다.
• 이 문제를 잠재 공간 내에서 목표 도메인 외부 예시와 생성된 출력 간의 거리를 최소화하는 최적화 문제로 공식화한다.
• 적대적 입력은 실제 데이터와 구분되지 않는 분포 내에 위치하도록 제약을 둬 은밀함을 확보한다.
• 이 최적화는 잠재 공간을 효율적으로 탐색하기 위해 기울기 기반 기법을 사용한다.
• 이 방법은 적대적 입력이 진짜 입력과 분포 유사도 측면에서 쉽게 탐지되지 않도록 보장한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 생성기에 특정한, 임의의 도메인 외부 예시를 강제로 생성하도록 만들 수 있는 적대적 입력을 구성할 수 있는가?
• RQ2 이러한 적대적 입력을 어떻게 진짜 데이터 입력과 통계적으로 구분되지 않도록 만들 수 있는가?
• RQ3 잠재 공간 내에서 이러한 적대적 입력을 탐색하는 데 있어 실현 가능성과 효율성은 어떠한가?
• RQ4 생성기가 낮은 확률의, 도메인 외부 출력을 얼마나 강력하게 조작할 수 있는가?
• RQ5 이 방법은 다양한 종류의 생성 모델과 도메인 외부 타겟에 대해 얼마나 견고한가?

주요 결과

• 적대적 입력은 사전 훈련된 생성기를 사용해 모델이 자연스럽게 생성하지 않는 임의의 도메인 외부 예시를 성공적으로 강제로 생성할 수 있다.
• 생성된 적대적 입력은 통계적으로 실제 입력과 구분되지 않아 은밀함을 유지한다.
• 이 방법은 생성기의 잠재 공간 내에서 적대적 잠재 벡터를 효율적으로 탐색한다.
• 목표 도메인 외부 예시가 매우 낮은 확률 영역에 위치해도 이 방법은 효과적으로 작동한다.
• 이 기법은 생성 모델이 잠재 공간에서 타겟 설정된, 탐지되지 않는 조작에 취약하다는 것을 보여준다.
• 결과적으로 생성기의 출력 공간에는 적대적 편향을 통해 접근 가능한 약점 영역이 존재한다는 것이 드러났다.