[논문 리뷰] Systematic Attack Surface Reduction For Deployed Sentiment Analysis Models

Josh Kalin, David Noever외 1명|arXiv (Cornell University)|2020. 06. 19.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 4

한 줄 요약

이 논문은 배포된 감성 분석 모델의 공격 표면을 줄이기 위한 체계적인 프레임워크인 BAD(Build, Attack, and Defend) 아키텍처를 소개한다. 기준 성능 설정, Jigsaw Toxic Bias 데이터셋을 활용한 취약점 탐색, 대응 방어 조치 적용을 통해, 생산 환경의 머신러닝 시스템에서의 적대적 위협이 체계적이고 반복 가능한 강화 절차를 통해 탐지되고 방지될 수 있음을 입증한다.

ABSTRACT

This work proposes a structured approach to baselining a model, identifying attack vectors, and securing the machine learning models after deployment. This method for securing each model post deployment is called the BAD (Build, Attack, and Defend) Architecture. Two implementations of the BAD architecture are evaluated to quantify the adversarial life cycle for a black box Sentiment Analysis system. As a challenging diagnostic, the Jigsaw Toxic Bias dataset is selected as the baseline in our performance tool. Each implementation of the architecture will build a baseline performance report, attack a common weakness, and defend the incoming attack. As an important note: each attack surface demonstrated in this work is detectable and preventable. The goal is to demonstrate a viable methodology for securing a machine learning model in a production setting.

연구 동기 및 목표

• 배포된 머신러닝 모델, 특히 감성 분석과 같은 실세계 NLP 시스템에서 증가하는 적대적 공격 위험을 다루기 위해.
• 배포 후 공격 벡터를 식별하고 완화하기 위한 반복 가능하고 체계적인 방법론을 개발하기 위해.
• 생산 모델의 적대적 취약성이 체계적 강화를 통해 탐지되고 방지될 수 있음을 입증하기 위해.
• 실세계 기준 데이터셋인 Jigsaw Toxic Bias 데이터셋을 사용하여 제안된 프레임워크의 효과성을 평가하기 위해.
• 초기 훈련 이후를 넘어서 실제 생산 환경에서 바로 사용 가능한 머신러닝 모델을 보호하기 위한 실용적 프레임워크를 제공하기 위해.

제안 방법

• BAD 아키텍처는 세 단계로 구성된다: 빌드(성능 기준 설정), 공격(취약점에 대한 체계적 탐색), 방어(모델을 강화하기 위한 조치 적용).
• 모델의 강건성에 대한 평가를 위해 진단 기준으로 Jigsaw Toxic Bias 데이터셋을 사용한다.
• 공격 벡터는 변형된 입력에 대한 모델 행동을 분석하여 식별되며, 실세계의 적대적 예제를 시뮬레이션한다.
• 식별된 약점을 바탕으로 입력 정제 및 모델 수준의 강화 기법과 같은 방어 메커니즘이 적용된다.
• 공격 생명주기와 완화 전략의 효과성을 정량화하기 위해 두 가지 다른 구현체에서 프레임워크를 평가한다.
• 성능는 기준 보고서, 공격 성공률, 방어 후 강건성 지표를 통해 측정된다.

실험 결과

연구 질문

• RQ1 배포된 감성 분석 모델의 공격 표면을 식별하고 줄이기 위한 체계적이고 반복 가능한 절차를 어떻게 수립할 수 있는가?
• RQ2 실세계 데이터 분포 하에서 블랙박스 감성 분석 시스템에서 가장 흔하고 악용 가능한 취약점은 무엇인가?
• RQ3 체계적인 방어 메커니즘을 사용하여 배포된 모델에 대한 적대적 공격을 어느 정도 탐지하고 방지할 수 있는가?
• RQ4 BAD 아키텍처는 실생 환경에서 다양한 구현 변형에 대해 모델의 강건성을 어떻게 향상시키는가?
• RQ5 제안된 방법론은 감성 분석을 초과하여 다른 NLP 모델에도 일반화될 수 있는가?

주요 결과

• BAD 아키텍처는 체계적 탐색과 방어를 통해 배포된 감성 분석 모델의 다수의 악용 가능한 공격 벡터를 성공적으로 식별하고 완화한다.
• Jigsaw Toxic Bias 데이터셋에서의 적대적 공격는 제안된 방어 메커니즘을 통해 일관되게 탐지되고 방지될 수 있었다.
• 방어 조치 적용 후 모델 강건성에 측정 가능한 향상이 있었으며, 두 구현체 모두에서 공격 성공률이 감소했다.
• 연구 결과는 배포 후 강화가 가능하고 효과적이며, 통찰력이 제한된 블랙박스 모델에도 적용 가능함을 확인했다.
• 이 방법론은 반복 가능하고 감사 가능한 방식으로 생산 환경의 머신러닝 모델을 보호할 수 있도록 한다.
• 결과적으로 체계적 공격 표면 축소가 실세계 머신러닝 시스템을 보호하기 위해 실현 가능하고 필수적인 실천임을 검증한다.