[논문 리뷰] PBSM: Backdoor attack against Keyword spotting based on pitch boosting and sound masking

Hanbo Cai, Pengcheng Zhang외 3명|arXiv (Cornell University)|2022. 11. 16.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

이 논문은 키���워드 스폴팅(KWS)을 위한 도청형 백도어 공격인 PBSM을 제안한다. 키톤워드 스폴팅에 사용되는 음성 강화와 소리 마스킹을 통해 청취자가 들을 수 없는 효과적인 트리거를 생성한다. 시간적(음고) 및 공간적(진폭) 특성을 동시에 조작함으로써 PBSM는 1% 미만의 오염된 훈련 데이터로 90% 이상의 공격 성공률를 달성하며, 다양한 KWS 모델에서 기존 방법보다 도청성과 내성에 뛰어난 성능을 보인다.

ABSTRACT

Keyword spotting (KWS) has been widely used in various speech control scenarios. The training of KWS is usually based on deep neural networks and requires a large amount of data. Manufacturers often use third-party data to train KWS. However, deep neural networks are not sufficiently interpretable to manufacturers, and attackers can manipulate third-party training data to plant backdoors during the model training. An effective backdoor attack can force the model to make specified judgments under certain conditions, i.e., triggers. In this paper, we design a backdoor attack scheme based on Pitch Boosting and Sound Masking for KWS, called PBSM. Experimental results demonstrated that PBSM is feasible to achieve an average attack success rate close to 90% in three victim models when poisoning less than 1% of the training data.

연구 동기 및 목표

• 키틴워드 스폴팅(KWS) 시스템에서 효과적이고 도청 가능한 백도어 공격의 부족을 해결하기 위해.
• 기존 트리거가 청취 가능하거나 샘플링 주파수 요구 조건에 제한되는 문제를 해결하기 위해.
• 사람이 청취할 수 없으면서도 다양한 KWS 모델에서 높은 공격 성공률를 유지할 수 있는 백도어 트리거를 설계하기 위해.
• 정상 입력에 대한 모델 정확도에 최소한의 영향을 미쳐 공격 후 모델의 유용성을 유지하기 위해.

제안 방법

• 이 방법은 LSTMs와 같은 시간적 모델에 효과적인 전역 주파수 특성을 변화시키기 위해 음고 강화를 통합한다.
• 짧은 지속시간, 높은 진폭의 신호를 마스킹 사운드로 덮어 인간의 청취 감도를 낮춘다.
• 청각 마스킹 기법을 활용해 높은 진폭 신호의 탐지 가능성을 억제한다.
• 트리거 생성 단계에서는 푸리에 변환을 사용해 오디오를 주파수 도메인으로 변환하고, 여기서 음고를 강화하여 백도어를 임베딩한다.
• 오염된 훈련 단계에서는 만든 트리거를 훈련 데이터의 1% 미만에 통합하여 모델을 오염시킨다.
• 이 방법은 샘플링 주파수에 종속되지 않아 고주파수 샘플링 요구 조건이 있는 모델(예: 40kHz 이상)에도 효과적으로 작용한다.

실험 결과

연구 질문

• RQ1 사람이 청취할 수 없는 트리거를 설계할 수 있으며, 이는 KWS 모델 공격에 효과적인가?
• RQ2 다양한 KWS 아키텍처(예: CNN 및 LSTM)에서 낮은 오염률로도 높은 공격 성공률를 유지할 수 있는가?
• RQ3 음고 강화와 소리 마스킹을 조합하면 단일 트리거 방법보다 도청성과 효과성이 향상되는가?
• RQ4 백도어가 삽입된 모델이 정상 입력에 대해 얼마나 높은 정확도를 유지하는가? 성능 저하 정도는 어느 정도인가?

주요 결과

• PBSM는 훈련 데이터의 1% 미만을 오염시켜도 세 개의 피해자 KWS 모델에서 평균 90% 이상의 공격 성공률를 달성했다.
• PBSM의 공격 성공률는 낮은 오염률(≤1%)에서도 일관되게 높았으며, 특히 LSTM 기반 모델에서 기존의 초음파 펄스 트리거보다 뛰어난 성능을 보였다.
• 정상 샘플에 대한 평균 정확도 변동은 0.64%에 불과하여 정상 입력에 대한 모델 성능 저하가 최소한임을 나타낸다.
• 인간 평가에서 95%의 참가자가 백도어 오디오가 자연스럽고 이해 가능하다고 평가했으며, 높은 진폭의 트리거 성분을 인지하지 못했다.
• 이 방법은 CNN 및 LSTM 기반 모델 모두에서 효과를 보였으며, 음고 강화가 순차적 모델의 공격 성공률를 높이고, 소리 마스킹이 도청성을 향상시킴을 보였다.
• 이 방법은 샘플링 주파수에 종속되지 않아 초음파 트리거가 샘플링 주파수가 부족하여 실패하는 모델에도 효과적으로 작용한다.