[논문 리뷰] Adversarial Transferability in Wearable Sensor Systems

Ramesh Kumar Sah, Hassan Ghasemzadeh|arXiv (Cornell University)|2020. 03. 17.

Adversarial Robustness in Machine Learning참고 문헌 45인용 수 5

한 줄 요약

이 논문은 웨어러블 센서 시스템에서의 적대적 전이성에 대해 조사하며, 다양한 모델, 주체, 센서 위치 및 데이터셋 간에 강력한 무타겟 전이성을 입증한다. 전이성이 원천 및 대상 데이터 분포가 다를 경우 급격히 악화됨을 밝히며, 견고한 센서 시스템 설계를 위한 지침을 제공한다.

ABSTRACT

Machine learning is used for inference and decision making in wearable sensor systems. However, recent studies have found that machine learning algorithms are easily fooled by the addition of adversarial perturbations to their inputs. What is more interesting is that adversarial examples generated for one machine learning system is also effective against other systems. This property of adversarial examples is called transferability. In this work, we take the first stride in studying adversarial transferability in wearable sensor systems from the following perspectives: 1) transferability between machine learning systems, 2) transferability across subjects, 3) transferability across sensor body locations, and 4) transferability across datasets. We found strong untargeted transferability in most cases. Targeted attacks were less successful with success scores from $0\%$ to $80\%$. The transferability of adversarial examples depends on many factors such as the inclusion of data from all subjects, sensor body position, number of samples in the dataset, type of learning algorithm, and the distribution of source and target system dataset. The transferability of adversarial examples decreases sharply when the data distribution of the source and target system becomes more distinct. We also provide guidelines for the community for designing robust sensor systems.

연구 동기 및 목표

• 웨어러블 센서 시스템에서의 적대적 전이성의 정도와 그에 영향을 주는 요인을 조사하기 위해.
• 다양한 기계학습 모델, 주체, 센서 신체 부위 및 데이터셋 간의 전이성을 평가하기 위해.
• 적대적 예제가 서로 다른 시스템 간에 성공적으로 전이되는 조건을 특정하기 위해.
• 적대적 공격에 대비한 견고한 웨어러블 센서 시스템 설계를 위한 실천 가능한 지침을 제공하기 위해.

제안 방법

• UCI, MHEALTH 등 여러 웨어러블 센서 데이터셋을 대상으로 다섯 가지 적대적 공격 방법을 사용한 실험을 수행하였다.
• 다양한 데이터셋과 아키텍처를 기반으로 훈련된 기계학습 모델 간의 전이성을 평가하였다.
• 다른 학습 알고리즘, 하이퍼파라미터 및 센서 배치를 가진 시스템 간의 전이성을 측정하였다.
• 실제 웨어러블 센서 데이터를 사용하여 주체와 센서 신체 부위 간의 전이성을 평가하였다.
• 데이터셋 크기, 데이터 분포 유사성 및 모델 아키텍처가 적대적 전이 성공에 미치는 영향을 분석하였다.
• 적대자들이 대상 시스템에 대한 액세스가 제한된 현실 세계 위협 모델을 시뮬레이션하기 위해 오라클 기반 공격을 사용하였다.

실험 결과

연구 질문

• RQ1 웨어러블 센서 시스템에서 다양한 기계학습 모델 간에 적대적 전이성이 어느 정도 발생하는가?
• RQ2 전이성은 다양한 주체와 센서 신체 부위 간에 어떻게 변화하는가?
• RQ3 데이터셋 크기와 분포는 적대적 전이 성공에 어떤 영향을 미치는가?
• RQ4 이 맥락에서 타겟 공격과 무타겟 공격 간의 성능 차이는 무엇인가?
• RQ5 웨어러블 시스템에서 적대적 예제의 전이성에 가장 크게 영향을 주는 요인은 무엇인가?

주요 결과

• 모델, 주체, 센서 위치 및 데이터셋의 대부분 조합에서 강력한 무타겟 전이성이 관찰되었다.
• 타겟 공격은 성공률이 0%에서 80% 사이로 변동하여 효과가 제한적임을 나타내었다.
• 원천 및 대상 시스템의 데이터 분포가 더 다를수록 전이성이 크게 감소함을 확인하였다.
• 더 큰 데이터셋(예: UCI, 10,299개 샘플)은 높은 전이성을 유도하여 데이터 양이 적대적 견고성에 기여함을 시사하였다.
• 다양하고 포괄적인 데이터셋으로 훈련된 모델은 전이 가능한 적대적 공격에 더 강한 저항성을 보였다.
• 본 연구는 적대적 취약성이 특정 모델이나 구성에 국한되지 않고 웨어러블 센서 시스템 전반에 걸쳐 체계적임을 강조한다.