[논문 리뷰] Real-Time Adversarial Attacks

Yuan Gong, Boyang Li외 2명|arXiv (Cornell University)|2019. 05. 31.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 9

한 줄 요약

이 논문은 스트리밍 기계 학습 모델을 대상으로 실시간 악성 공격을 제안하며, 공격자가 과거 데이터를 관찰하고 미래 데이터 포인트에 대해 실시간으로 변형을 생성한다. 비실시간 공격 생성기의 시연 데이터를 기반으로 이민 학습을 사용함으로써, 평균 발신 지연 오차가 0.1135초인 효과적인 공격 성능을 달성하였으며, 음성 명령 시스템과 같은 동적이고 실시간 환경에서의 실현 가능성을 입증한다.

ABSTRACT

In recent years, many efforts have demonstrated that modern machine learning algorithms are vulnerable to adversarial attacks, where small, but carefully crafted, perturbations on the input can make them fail. While these attack methods are very effective, they only focus on scenarios where the target model takes static input, i.e., an attacker can observe the entire original sample and then add a perturbation at any point of the sample. These attack approaches are not applicable to situations where the target model takes streaming input, i.e., an attacker is only able to observe past data points and add perturbations to the remaining (unobserved) data points of the input. In this paper, we propose a real-time adversarial attack scheme for machine learning models with streaming inputs.

연구 동기 및 목표

• 공격자가 과거 데이터만 관찰하고 미래 데이터 포인트에만 영향을 줄 수 있는 스트리밍 입력에 대한 악성 공격의 격차를 해소하기 위해.
• 부분 관찰 기반로 지속적으로 공격 전략을 개선하는 실시간 악성 변형 생성기를 개발하기 위해.
• 실시간 공격 시나리오에서 관찰과 행동 공간 간의 상충 관계를 극복하기 위해.
• 음성 인식 및 금융 거래 모델과 같은 보안 민감도가 높은 실시간 시스템에 효과적인 공격을 가능하게 하기 위해.
• 이민 학습을 통한 실시간 악성 공격의 실현 가능성과 효과성을 입증하기 위해.

제안 방법

• 공격자가 과거 시계열 데이터를 관찰하고, 관찰하지 않은 미래 포인트에 대해 변형을 생성하는 실시간 악성 공격 기법을 제안한다.
• 부분 관찰 기반 최적의 변형을 근사하기 위해 딥 강화 학습 아키텍처를 사용한다.
• 비실시간 상태의 최첨단 악성 공격 생성기의 시연 데이터를 사용하여, 실시간 생성기를 이민 학습 및 행동 클론 학습을 통해 훈련시킨다.
• 변형을 실시간으로 발신하는 관점에서 관찰의 변화에 따라 결정을 내리는 순차적 의사결정 문제로 모델링한다.
• 지연 고려 형식을 도입하여, 처리 및 발신 지연을 고려해 $ t+d+1 $ 시점의 변형을 생성한다.
• 최적화 과정의 미분 가능 근사치를 사용하여, 예측 오차와 전문가 시연의 발신 지연 편차를 최소화하도록 생성기를 훈련시킨다.

실험 결과

연구 질문

• RQ1 공격자가 과거 데이터만 관찰하고 미래 데이터 포인트에만 조치를 취해야 하는 상황에서 실시간 악성 공격를 효과적으로 구성할 수 있는가?
• RQ2 부분 관찰 기반으로 비실시간 전문가 생성기의 성능을 근사할 수 있는 실시간 변형 생성기를 어떻게 훈련시킬 수 있는가?
• RQ3 관찰 지연과 불완전한 데이터는 악성 변형 발신의 정확도와 지연에 어떤 영향을 미치는가?
• RQ4 실시간 생성기의 성능은 전문가 대비 예측 정확도와 발신 지연 측면에서 어떻게 비교되는가?
• RQ5 더 많은 데이터가 제공될수록 실시간 생성기는 예측을 적응적으로 향상시킬 수 있으며, 이러한 적응은 얼마나 안정적인가?

주요 결과

• 실시간 악성 생성기는 평균 실제 발신 지연 오차가 0.1135초를 기록하였으며, 이는 예측 오차 0.1091초와 매우 유사하여, 예측 오차가 성능 격차의 주요 원인임을 시사한다.
• 더 많은 관찰 데이터를 확보할수록 생성기의 예측 성능이 크게 향상되며, 특히 정보가 풍부한 구성요소(예: 음성)가 존재할 경우 반신호가 관찰된 후에 안정화된다.
• 침묵 기간 동안 생성기는 최소한의 변화를 일으켜, 정보가 풍부한 신호 성분에 집중하고 전략을 그에 맞게 적응함을 보여준다.
• 발신 지연 오차의 분포는 중심이 0인 종형 곡선을 따르며, 시행 간 일관되고 신뢰할 수 있는 행동을 의미한다.
• 제안된 악성 변형은 청각적으로 타당하며 일반적인 전자기 소음처럼 들려 위장성이 높고, 탐지 가능성도 낮추어 도사의 정밀도를 높인다.
• 실시간 생성기와 전문가 간의 성능 격차는 전문가의 최적화 과정의 비결정성과 부분 입력에서 전체 입력으로의 안정적인 매핑 학습의 과제에 기인한다.