[논문 리뷰] LatentPoison - Adversarial Attacks On The Latent Space

Antonia Creswell, Anil A. Bharath외 1명|arXiv (Cornell University)|2017. 11. 08.

Adversarial Robustness in Machine Learning참고 문헌 11인용 수 9

한 줄 요약

이 논문은 깊이 있는 변동형 오토인코더(dVAE)의 잠재 공간을 조작하여 최소한의 변형으로 분류 레이블을 뒤집는 새로운 적대적 공격인 LatentPoison을 제안한다. 모델 파라미터가 필요 없이 잠재 코드에 작은 타겟된 덧셈 또는 곱셈 변형을 적용함으로써, 복원된 이미지 품질을 유지하면서도 높은 신뢰도 점수를 유지하면서 예측을 성공적으로 뒤집는다. 이는 정교한, 잠재 공간 기반의 분류 시스템 회피를 보여준다.

ABSTRACT

Robustness and security of machine learning (ML) systems are intertwined, wherein a non-robust ML system (classifiers, regressors, etc.) can be subject to attacks using a wide variety of exploits. With the advent of scalable deep learning methodologies, a lot of emphasis has been put on the robustness of supervised, unsupervised and reinforcement learning algorithms. Here, we study the robustness of the latent space of a deep variational autoencoder (dVAE), an unsupervised generative framework, to show that it is indeed possible to perturb the latent space, flip the class predictions and keep the classification probability approximately equal before and after an attack. This means that an agent that looks at the outputs of a decoder would remain oblivious to an attack.

연구 동기 및 목표

• 깊이 있는 변동형 오토인코더(dVAE)의 잠재 공간이 탐지되지 않도록 분류 결과를 조작할 수 있는지 조사하기 위해.
• 모델 파라미터가 아닌 인코더 출력과 분류기 예측에만 접근 가능한 실용적인 적대적 공격을 개발하기 위해.
• L1 및 L2 정규화 기법과 덧셈, 곱셈 유형의 변형을 포함한 다양한 정규화 기법과 변형 유형에서 잠재 공간 공격의 정교함과 효과성을 평가하기 위해.
• 최소한의 잠재 공간 변형이 복원 출력에서 상당한 의미적 변화를 일으킬 수 있으며, 同시에 높은 분류기 신뢰도를 유지할 수 있음을 보여주기 위해.

제안 방법

• 공격은 인코더 출력과 분류기 예측만을 사용하여, 주어진 클래스의 잠재 코드 z를 다른 클래스로 복원할 수 있는 잠재 코드로 매핑하는 변환 𝒯∘z를 학습한다.
• 이 방법은 잠재 코드에 덧셈 변형 Δz를 적용하며, 분류기가 목표 클래스에 대해 최대한의 신뢰도를 가지도록 하면서도 Δz의 L1 또는 L2 노름을 최소화하는 손실 함수를 최적화한다.
• L1 정규화는 Δz 내에서 희소성을 유도하여, 수정되는 잠재 단위의 수를 줄여 정교함을 높인다.
• 공격은 얼굴 이미지 데이터셋(smile 대 no smile)에서 이진 분류 설정을 사용하여 평가되며, 변형된 잠재 코드에서 디코더가 이미지를 복원한다.
• 공격은 각 잠재 코드에 대해 독립적으로 적용되며, 모든 샘플에 동일한 변환 𝒯를 사용하므로 확장성과 일반화 능력이 뛰어나다.
• 공격의 성공은 dVAE 잠재 공간의 거의 선형적인 구조 덕분이며, 이는 클래스 간을 부드럽게 보간할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 dVAE의 잠재 공간에서의 적대적 변형이 시각적 품질을 변화시키지 않고도 복원된 이미지의 예측 클래스를 뒤집을 수 있는가?
• RQ2 모델 파라미터가 없이 인코더 출력과 분류기 예측만을 이용할 경우, 공격의 효과는 어떠한가?
• RQ3 L1 정규화는 수정되는 잠재 단위의 수를 어느 정도 줄이며, 이는 공격의 정교함을 향상시키는가?
• RQ4 다양한 변형 유형(덧셈 대비 곱셈)과 정규화 기법이 공격의 성공률 및 탐지 가능성에 어떤 영향을 미치는가?
• RQ5 공격 후에도 원래 클래스의 신뢰도는 그대로 유지하면서, 변형된 클래스에 대해 높은 분류기 신뢰도를 유지할 수 있는가?

주요 결과

• 공격은 'no smile'에서 'smile'으로, 그리고 그 반대 방향으로도 성공적으로 예측 클래스를 뒤집었으며, 복원된 이미지는 원본 복원 이미지와 시각적으로 구별되지 않았다.
• L1 정규화 하에서 공격는 Δz 내에서 높은 희소성을 달성하여, 수정되는 잠재 단위의 수를 극히 적게 유지하면서도 예측을 뒤집는 데 성공했다.
• 'no smile → smile' 공격의 경우 Poisoning+Class 공격 유형에서 분류기 신뢰도가 0.98로 상승하여 변형의 최적화가 뛰어나다는 것을 보여주었다.
• 동일한 조건에서 'smile → no smile' 공격는 0.96의 신뢰도를 기록하여, 양방향에서 일관된 성능을 보였다.
• 공격는 원본 데이터와 복원 샘플의 신뢰도보다도 변형된 출력의 신뢰도가 더 높기 때문에 정교하게 유지되며, 탐지가 어렵다.
• 공격의 성공은 주로 dVAE 잠재 공간의 거의 선형적인 구조 덕분이며, 이는 덧셈 변형을 통해 클래스 간을 부드럽게 이동시킬 수 있도록 한다.