[논문 리뷰] Metamorphic Relation Based Adversarial Attacks on Differentiable Neural Computer

Alvin Chan, Lei Ma외 4명|arXiv (Cornell University)|2018. 09. 07.

Adversarial Robustness in Machine Learning참고 문헌 27인용 수 14

한 줄 요약

이 논문은 자연어 질의 응답 작업에서 Differentiable Neural Computers(DNCs)의 강건성 평가를 위해 유도관계 기반의 대비 공격 기법을 제안한다. Pick-n-Plug 및 Pick-Permute-Plug와 같은 자동화된 전략을 활용해 문법적으로 올바르고 의미적으로 수정된 입력을 생성함으로써, DNC의 기억 운영 기능—특히 읽기, 쓰기, 지우기 기능—이 손상되어 근처 완벽한 기준 정확도를 유지함에도 불구하고 성능 저하가 심각하게 발생한다.

ABSTRACT

Deep neural networks (DNN), while becoming the driving force of many novel technology and achieving tremendous success in many cutting-edge applications, are still vulnerable to adversarial attacks. Differentiable neural computer (DNC) is a novel computing machine with DNN as its central controller operating on an external memory module for data processing. The unique architecture of DNC contributes to its state-of-the-art performance in tasks which requires the ability to represent variables and data structure as well as to store data over long timescales. However, there still lacks a comprehensive study on how adversarial examples affect DNC in terms of robustness. In this paper, we propose metamorphic relation based adversarial techniques for a range of tasks described in the natural processing language domain. We show that the near-perfect performance of the DNC in bAbI logical question answering tasks can be degraded by adversarially injected sentences. We further perform in-depth study on the role of DNC's memory size in its robustness and analyze the potential reason causing why DNC fails. Our study demonstrates the current challenges and potential opportunities towards constructing more robust DNCs.

연구 동기 및 목표

• 자연어 처리 분야에서 Differentiable Neural Computers(DNCs)의 대비 공격에 대한 강건성에 대해 조사한다.
• 텍스트 입력의 이산적이고 비미분 가능성이 높은 성격으로 인해 자연어 처리 분야에서 대비 예제를 생성하는 데 도전하는 문제를 해결한다.
• DNC의 기억 크기가 이러한 공격에 대한 강건성에 미치는 영향을 평가한다.
• 대비 입력이 DNC 컨트롤러의 제어 신호(읽기, 쓰기, 지우기 기능)에 어떻게 영향을 미치는지 분석한다.

제안 방법

• 자연어 처리 작업에서 문법적 정확성과 의미 일관성을 유지하는 대비 예제를 생성하기 위해 유도관계 기반 프레임워크를 제안한다.
• 자동화되고 확장 가능한 두 가지 공격 전략인 Pick-n-Plug 및 Pick-Permute-Plug를 도입하여, 대비 문장을 훈련 또는 테스트 시퀀스에 삽입한다.
• 청정 입력과 대비 입력 간의 제어 신호(키, 벡터, 게이트 값)를 비교하기 위해 코사인 유사도와 KL-발산을 사용한다.
• 대비 효과를 국소화하기 위해 세 개의 입력 세그먼트인 스토리, 대비 문장, 질문에 대한 컨트롤러 행동을 분석한다.
• 공격 성공도와 성능 저하를 평가하기 위해 bAbI 태스크 #19를 벤치마크로 활용한다.
• KL-발산을 사용하여 게이트 값 분포(자유, 할당, 쓰기, 지우기)를 비교하여 대비 입력 하에서의 심각한 편차를 탐지한다.

실험 결과

연구 질문

• RQ1 유도관계 기반의 대비 공격는 자연어 질의 응답 작업에서 DNC의 성능을 효과적으로 저하시킬 수 있는가?
• RQ2 대비 문장 삽입은 DNC의 기억 운영 기능(읽기, 쓰기, 지우기)에 어떤 영향을 미치며, 이를 제어 신호에 반영하는가?
• RQ3 DNC의 기억 크기를 늘임으로써 이러한 대비 공격에 대한 강건성이 크게 향상되는가?
• RQ4 입력 위치, 콘텐츠 유형, 길이가 DNC에 대한 대비 공격 성공에 어떤 영향을 미치는가?

주요 결과

• 제안된 대비 공격는 bAbI 태스크 #19에서 DNC의 성능을 성공적으로 저하시켜, 문법적으로 올바른 입력임에도 불구하고 근처 완벽한 정확도가 크게 낮아지게 한다.
• KL-발산 분석 결과, 성공한 공격에서 대비 세그먼트의 게이트 값(특히 할당 및 쓰기 게이트)이 청정 또는 실패한 공격에 비해 유의미하게 더 큰 편차를 보였다.
• DNC 컨트롤러의 키와 벡터 간의 코사인 유사도는 대비 세그먼트에서 뚜렷하게 감소했다(예: UAA와 SAA 간 쓰기 키의 경우 0.8593), 이는 신호의 심각한 교란을 시사한다.
• 게이트 값에서 가장 큰 KL-발산은 할당 및 쓰기 게이트의 대비 세그먼트에서 관찰되었으며, 이는 이러한 운영 기능이 공격의 주요 대상임을 시사한다.
• 더 큰 기억 크기는 강건성 향상에 제한적인 기여만 할 뿐이며, 기억 용량만으로는 이러한 취약성을 보완하지 못함을 시사한다.
• 제어 신호 분석 결과, 대비 공격는 DNC의 읽기, 쓰기, 지우기 기능을 모두 교란하며, 특히 컨트롤러의 게이트 값과 주의 메커니즘에서 가장 뚜렷한 영향을 미친다.