[논문 리뷰] From Hero to Zéroe: A Benchmark of Low-Level Adversarial Attacks

Steffen Eger, Yannik Benz|arXiv (Cornell University)|2020. 10. 12.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 4

한 줄 요약

이 논문은 소셜 미디어나 스팸 맥락에서 실제 사용자 행동을 반영하는 철자 오류, 시각적 대체, 발음적 변형과 같은 캐릭터 수준의 변형을 중심으로 한 NLP 모델에 대한 저수준 적대적 공격을 위한 첫 번째 대규모 벤치마크인 Zéroe를 소개한다. RoBERTa가 비록 강건성을 지닌 것으로 알려져 있지만 이러한 공격에 크게 실패함을 입증하며, 최신 기술 모델이 인간이 수행할 법한 저수준의 변형에 취약함을 드러낸다.

ABSTRACT

Adversarial attacks are label-preserving modifications to inputs of machine learning classifiers designed to fool machines but not humans. Natural Language Processing (NLP) has mostly focused on high-level attack scenarios such as paraphrasing input texts. We argue that these are less realistic in typical application scenarios such as in social media, and instead focus on low-level attacks on the character-level. Guided by human cognitive abilities and human robustness, we propose the first large-scale catalogue and benchmark of low-level adversarial attacks, which we dub Zéroe, encompassing nine different attack modes including visual and phonetic adversaries. We show that RoBERTa, NLP's current workhorse, fails on our attacks. Our dataset provides a benchmark for testing robustness of future more human-like NLP models.

연구 동기 및 목표

• 소셜 미디어와 같은 플랫폼에서의 실제 사용자 행동을 반영하는 현실적인 저수준 적대적 공격 벤치마크가 NLP 분야에서 부족한 문제를 해결하기 위해.
• 인간의 인지적 제약과 지각적 강건성에 기반한 철자 오류, 시각적 대체, 발음적 이동 등 총 아홉 가지의 별도된 캐릭터 수준 공격 방식을 식별하고 분류하기 위해.
• 선도적인 NLP 모델인 RoBERTa의 이러한 공격에 대한 강건성을 평가하고, 인간이 수행할 법한 조건에서의 실패를 입증하기 위해.
• 향후 연구를 위해 표준화된 벤치마크 데이터셋과 코드를 제공하기 위해.

제안 방법

• 저자들은 총 아홉 가지의 저수준 공격 방식을 정의하고 구현함: 내부 섞기(inner-shuffle), 전체 섞기(full-shuffle), 침입(intrude), 모음 제거(disemvowel), 자르기(truncate), 세그먼트(segment), 철자 오류(typo), 자연 노이즈(natural noise), 발음적(phonetic), 시각적(visual). 각 공격 방식은 입력 텍스트를 캐릭터 수준에서 수정함.
• 각 공격 유형은 다양한 입력 문장에 체계적으로 적용되며, 의미는 유지하면서 철자적 형태만 인간의 실수나 오염을 모방하도록 수정함.
• 벤치마크는 실제 언어학적 및 지각적 제약을 반영하여, 변형된 텍스트가 인간에게 독해 가능하고 현실적으로 보이도록 구성됨.
• RoBERTa의 성능은 모든 공격 유형에 대해 제로샷 분류 성능으로 평가되며, 무작위 기준 및 정제된 입력과의 결과를 비교함.
• 표준 학습 프로토콜을 사용하여 Zéroe 데이터셋을 활용한 적대적 훈련을 수행하여 모델의 강건성이 향상되는지 평가함.
• 재현성과 향후 연구 지원을 위해 벤치마크는 공개적으로 제공되며, 코드와 데이터는 https://github.com/yannikbenz/zeroe 에서 확보 가능함.

실험 결과

연구 질문

• RQ1 철자 오류, 시각적 대체, 발음적 이동과 같은 저수준 캐릭터 수준의 적대적 공격이 RoBERTa와 같은 최신 기술 NLP 모델의 성능에 어떻게 영향을 미치는가?
• RQ2 RoBERTa 및 유사한 모델은 소셜 미디어나 스팸 맥락에서 실제로 인간이 수행하는 행동을 모방하는 공격에 얼마나 취약한가?
• RQ3 다양하고 인간이 수행할 법한 저수준 변형을 포함한 복잡한 집합에 노출되었을 때, 표준 적대적 훈련 기법이 모델의 강건성을 효과적으로 복원할 수 있는가?
• RQ4 특정 공격 유형이 RoBERTa의 성능을 비례적으로 크게 떨어뜨리며, 아키텍처나 어텐션 메커니즘의 구조적 취약성을 드러내는가?

주요 결과

• 일부 저수준 공격에서 RoBERTa의 성능이 크게 떨어지며, 특히 시각적 공격과 고수준 발음적 변형과 같은 가장 심각한 공격 유형에서는 정확도가 무작위 추측 기준(약 0.5)까지 떨어짐.
• 시각적 공격 방식이 가장 극심한 성능 저하를 유발하였으며, 고신뢰도 입력에서 RoBERTa의 정확도는 0.70까지 떨어졌으며, 이는 시각적으로 유사한 문자 대체에 대한 치명적인 취약성을 보여줌.
• Zéroe 데이터셋을 사용한 적대적 훈련 후에도 RoBERTa의 성능 향상은 미미하여, 표준 적대적 훈련이 복잡하고 인간이 수행할 법한 저수준 공격에 대해 일반화 능력이 제한적임을 시사함.
• 발음적 및 자연 노이즈 공격 유형은 중간 정도이지만 일관된 성능 저하를 유발하였으며, 고신뢰도 입력에서 정확도가 약 0.90~0.92 수준까지 떨어짐. 이는 의미적 유사성과 발음적 유사성만으로는 모델의 강건성을 유지하는 데 부족함을 보여줌.
• 내부 섞기와 모음 제거 공격는 더 현실적으로 보이지만 성능 저하가 덜 심각하여 정확도가 0.92 이상 유지됨. 이는 RoBERTa가 이러한 특정 변형에 대해 어느 정도 내성적 저항력을 유지하고 있음을 시사함.
• 벤치마크는 RoBERTa가 단어 경계를 유지하면서도 시각적 또는 발음적 형태를 변경하는 공격에 특히 민감함을 드러내며, 인간과 모델 간의 철자 변형 처리 방식 간의 근본적인 불일치를 폭 드러냄.