[논문 리뷰] Can you fool AI with adversarial examples on a visual Turing test

Xiaojun Xu, Xinyun Chen외 4명|arXiv (Cornell University)|2017. 09. 25.

Multimodal Machine Learning Applications참고 문헌 44인용 수 26

한 줄 요약

이 논문은 시각질문응답(VQA)에서 대상 기반 적대적 예제에 대한 최초의 종합적 연구를 제시하며, 이러한 예제를 생성하는 데 성공하는 데 있어 입력 이미지보다는 대상 질문-답변 쌍이 더 중요한 영향을 미친다는 것을 입증한다. 이 연구는 VQA 모델에 내재된 언어 사전 편향이 특정 대상에 대해 적대적 생성을 어렵게 만들며, 복합적 아키텍처가 공격에 대해 略적으로 더 강건함을 보여준다.

ABSTRACT

Deep learning has achieved impressive results in many areas of Computer Vision and Natural Language Pro- cessing. Among others, Visual Question Answering (VQA), also referred to a visual Turing test, is considered one of the most compelling problems, and recent deep learning models have reported significant progress in vision and language modeling. Although Artificial Intelligence (AI) is getting closer to passing the visual Turing test, at the same time the existence of adversarial examples to deep learning systems may hinder the practical application of such systems. In this work, we conduct the first extensive study on adversarial examples for VQA systems. In particular, we focus on generating targeted adversarial examples for a VQA system while the target is considered to be a question-answer pair. Our evaluation shows that the success rate of whether a targeted adversarial example can be generated is mostly dependent on the choice of the target question-answer pair, and less on the choice of images to which the question refers. We also report the language prior phenomenon of a VQA model, which can explain why targeted adversarial examples are hard to generate for some question-answer targets. We also demonstrate that a compositional VQA architecture is slightly more resilient to adversarial attacks than a non-compositional one. Our study sheds new light on how to build deep vision and language resilient models robust against adversarial examples.

연구 동기 및 목표

• 시각질문응답(VQA) 시스템에서 대상 기반 적대적 예제를 생성하는 것의 가능성과 과제를 조사한다.
• 어떤 질문-답변 쌍이 다른 것보다 더 취약한지 이유를 이해한다.
• VQA 모델의 언어 사전 편향이 적대적 예제 생성에 미치는 영향을 분석한다.
• 적대적 공격에 대한 복합적 대비 비복합적 VQA 아키텍처의 강건성 비교한다.
• 적대적 예제에 대한 더 강건한 시각-언어 모델을 구축하기 위한 통찰을 제공한다.

제안 방법

• 입력 이미지를 변형하여 모델이 특정한 원하는 질문-답변 쌍을 출력하도록 하는 방식으로 VQA에 대해 대상 기반 적대적 예제를 생성한다.
• 모델의 대상 QA 쌍에 대한 신뢰도를 최대화하도록 이미지 변형을 최적화하는 대상 공격 프레임워크를 사용한다.
• 통제된 실험을 통해 대상 QA 쌍과 입력 이미지가 공격 성공률에 미치는 영향을 분석한다.
• 질문 편향에 기반해 모델이 답을 예측하는 빈도를 측정하여 언어 사전 편향 효과를 평가한다.
• 질문과 이미지를 별도로 처리한 후 융합하는 복합적 VQA 모델과 둘을 통합 입력으로 다루는 비복합적 모델 간의 적대적 강건성을 비교한다.
• 다양한 질문-답변 쌍과 이미지 입력에서 공격 성공률을 평가하여 취약성 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 대상 질문-답변 쌍의 선택이 VQA에서 대상 기반 적대적 예제 생성 성공률에 어떤 영향을 미치는가?
• RQ2 입력 이미지가 VQA에서 대상 기반 적대적 공격 성공률에 어느 정도 영향을 미치는가?
• RQ3 VQA 모델의 언어 사전 편향이 특정 QA 쌍을 적대적 생성에서 어렵게 만드는 데 어떤 역할을 하는가?
• RQ4 아키텍처 설계(복합적 대비 비복합적)가 VQA 모델의 대상 기반 적대적 공격에 대한 강건성에 어떤 영향을 미치는가?
• RQ5 어떤 임의의 질문-답변 쌍에 대해 VQA 시스템에서 적대적 예제를 신뢰성 있게 생성할 수 있는가?

주요 결과

• VQA에서 대상 기반 적대적 예제를 생성하는 데 성공하는 것은 주로 대상 질문-답변 쌍의 선택에 의해 결정되며, 입력 이미지의 영향은 크지 않다.
• 일부 질문-답변 쌍은 강력한 언어 사전 편향으로 인해 시각적 입력과 관계없이 특정 답을 선호하기 때문에 매우 더 어렵게 공격이 가능하다.
• 언어 사전 편향 현상은 최적화된 변형을 사용하더라도 일부 QA 쌍에 대해 적대적 예제를 신뢰성 있게 생성할 수 없음을 설명한다.
• 복합적 VQA 아키텍처는 비복합적 아키텍처보다 약간 더 높은 저항성을 보이며, 대상 기반 적대적 공격에 강건하다.
• 이 연구는 VQA에서의 적대적 강건성이 균일하게 분포되어 있지 않으며, 주로 대상 QA 쌍의 의미적·언어적 특성에 크게 의존함을 드러낸다.
• 이러한 발견들은 향후 강건한 VQA 모델을 구축할 때 언어 편향과 아키텍처 설계를 명시적으로 고려해야 적대적 예제에 대한 방어를 개선할 수 있음을 시사한다.