[논문 리뷰] Adversarial Images for Variational Autoencoders

Pedro Tabacof, Julia Tavares외 1명|arXiv (Cornell University)|2016. 12. 01.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 62

한 줄 요약

이 논문은 변동형 및 결정론적 오토인코더에 대한 새로운 적대적 공격을 제안하며, 입력 이미지를 왜곡하여 잠재 표현을 조작함으로써 완전히 다른 목표 이미지의 복원을 유도한다. 입력 왜곡과 목표 이미지로의 복원 유사도 사이에 준선형적 상관관계가 존재함을 보여주며, 이는 오토인코더가 분류기보다 이러한 공격에 훨씬 더 강건함을 시사한다. 이는 비선형 출력 정규화를 제거했을 때 두 모델이 모두 비례적인 내부 민감도를 보이기 때문이다.

ABSTRACT

We investigate adversarial attacks for autoencoders. We propose a procedure that distorts the input image to mislead the autoencoder in reconstructing a completely different target image. We attack the internal latent representations, attempting to make the adversarial input produce an internal representation as similar as possible as the target's. We find that autoencoders are much more robust to the attack than classifiers: while some examples have tolerably small input distortion, and reasonable similarity to the target image, there is a quasi-linear trade-off between those aims. We report results on MNIST and SVHN datasets, and also test regular deterministic autoencoders, reaching similar conclusions in all cases. Finally, we show that the usual adversarial attack for classifiers, while being much easier, also presents a direct proportion between distortion on the input, and misdirection on the output. That proportionality however is hidden by the normalization of the output, which maps a linear layer into non-linear probabilities.

연구 동기 및 목표

• 입력을 재구성하는 데 훈련되는 오토인코더를 전용으로 대상으로 삼는 적대적 공격 전략을 개발하고 평가하는 것.
• 다른 목표 이미지의 복원을 유도하는 적대적 편향에 대해 변동형 및 결정론적 오토인코더의 강건성을 조사하는 것.
• 오토인코더와 분류기 간의 적대적 공격 행동을 비교하여, 입력 왜곡과 출력 오도 사이의 상관관계를 분석하는 것.
• 분류기 공격에서 관찰되는 비선형성의 원인이 출력 정규화의 결과인지 분석하기 위해 로짓 공간을 분석하는 것.

제안 방법

• 공격은 오토인코더의 내부 잠재 표현을 대상으로 하며, 인코더의 출력이 목표 이미지의 잠재 코드와 일치하도록 입력 편향을 최적화한다.
• 이 방법은 오토인코더의 재구성 출력과 목표 이미지 간의 거리를 최소화하는 손실 함수를 사용하며, 동시에 L2 노름에서 작은 편향으로 제약을 둔다.
• 정규화 상수를 다양하게 조절하여 상관관계를 탐색하기 위해 MNIST 및 SVHN 데이터셋에서 변동형 오토인코더(VAEs)와 결정론적 오토인코더(AEs)를 대상으로 평가한다.
• 비교를 위해 표준 FGSM 스타일의 분류기 공격을 적용하고, 출력을 확률에서 로짓으로 변환하여 내재된 선형성을 평가한다.
• 다양한 정규화 파rameter를 사용한 여러 시행을 통해 입력 왜곡과 출력 유사도 사이의 상관관계를 정량화한다.
• 비정상 예시의 시각적 점검과 왜곡 대 복원 유사도의 그래프를 포함하여 포화점( saturation points)을 식별한다.

실험 결과

연구 질문

• RQ1 입력 이미지를 완전히 다른 목표 이미지로 재구성하도록 유도하는 적대적 편향을 오토인코더에 조작할 수 있는가?
• RQ2 오토인코더의 적대적 공격에 대한 강건성은 딥 네트워크 분류기와 비교해 어떻게 다른가?
• RQ3 분류기 공격에서 관찰되는 비선형적 성공 곡선은 비선형 소프트맥스 출력층 때문인지, 아니면 모델 내부 표현에 기반한 선형 민감도가 존재하는가?
• RQ4 오토인코더에서 입력 왜곡과 복원 오도 사이의 상관관계는 어떤 성격을 지니는가?
• RQ5 분류기의 로짓 공간에서도 동일한 선형적 상관관계가 유지되는가? 이는 공통된 기초 메커니즘을 시사하는가?

주요 결과

• 오토인코더는 입력 왜곡과 목표 이미지로의 복원 유사도 사이에 준선형적 상관관계를 보이며, 이는 상당한 오도를 유도하기 위해서는 비례적으로 큰 왜곡이 필요함을 시사한다.
• 어려움에도 불구하고, 정규화가 낮을 경우 오토인코더에 대한 적대적 공격는 중간 정도의 입력 편향으로도 높은 목표 복원 유사도를 달성할 수 있다.
• 분류기 공격의 경우 확률 공간에서는 비선형적 성공 곡선을 보이지만, 로짓 공간으로 전환하면 이 비선형성이 사라지며, 오토인코더와 유사한 내재된 선형 민감도가 드러난다.
• 입력 왜곡과 출력 오도 사이의 비례 관계는 오토인코더와 분류기 양쪽 모두에 내재되어 있으나, 분류기에서는 비선형 출력 정규화로 인해 작은 변화가 크게 증폭되어 공격의 효과가 더 크다.
• 결과적으로 깊이 있는 모델의 선형성은 적대적 공격에 대한 취약성의 근본 원인이며, 비선형 출력 변환의 부재로 인해 오토인코더는 더 강건함을 시사한다.
• 이 연구는 오토인코더가 분류기보다 훨씬 더 적대적 공격에 저항력이 있음을 확인한다. 이는 양자 모두 내부 표현에서 비례 민감도를 보임에도 불구하고 그렇다.