[논문 리뷰] Gradient-based Analysis of NLP Models is Manipulable

Junlin Wang, Jens Tuyls외 2명|arXiv (Cornell University)|2020. 10. 12.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 4

한 줄 요약

이 논문은 '페이스북' 모델을 도입하여 기울기 기반 자연어 처리(NLP) 설명 방법이 매우 조작 가능하다는 것을 입증한다. 이 모델은 잘못된 기울기를 유도하지만 원본 모델의 예측을 유지하며, 어떤 타겟 모델과도 융합될 수 있다. 원본 모델의 예측은 그대로 유지되지만, 융합된 모델의 기울기는 불필요한 토큰(예: 정지어 또는 첫 번째 토큰)에 대해 지배적이 되어, 시각화 지도, 입력 감소 및 적대적 공격 기법이 효과를 잃고 속임수를 당기는 결과를 낳는다. 이는 적대적 환경에서 기울기 기반 분석의 신뢰성에 심각한 위협을 가한다.

ABSTRACT

Gradient-based analysis methods, such as saliency map visualizations and adversarial input perturbations, have found widespread use in interpreting neural NLP models due to their simplicity, flexibility, and most importantly, their faithfulness. In this paper, however, we demonstrate that the gradients of a model are easily manipulable, and thus bring into question the reliability of gradient-based analyses. In particular, we merge the layers of a target model with a Facade that overwhelms the gradients without affecting the predictions. This Facade can be trained to have gradients that are misleading and irrelevant to the task, such as focusing only on the stop words in the input. On a variety of NLP tasks (text classification, NLI, and QA), we show that our method can manipulate numerous gradient-based analysis techniques: saliency maps, input reduction, and adversarial perturbations all identify unimportant or targeted tokens as being highly important. The code and a tutorial of this paper is available at http://ucinlp.github.io/facade.

연구 동기 및 목표

• 기울기 기반 설명 방법의 적대적 조작에 대한 내성적 저항력을 조사하기 위해.
• 모델 예측을 변경하지 않고도 기울기를 조작하여 설명 기법을 오도할 수 있음을 입증하기 위해.
• 시각화 지도, 입력 감소 및 적대적 변형과 같은 널리 사용되는 기울기 기반 분석 도구의 취약성을 드러내기 위해.
• 모델 개발자가 기울기 조작을 통해 모델 편향을 숨길 수 있는 위험을 강조하기 위해.
• 더 강력하고 신뢰할 수 있는 설명 기법의 개발을 촉진하기 위해.

제안 방법

• 기울기 기반 설명 기법이 잘못된 방향으로 작동하도록 유도하는 강력한 허위 기울기를 생성하는 '페이스북' 모델을 훈련한다(예: 정지어나 첫 번째 토큰에 집중).
• 이 모델은 타겟 모델의 레이어와 결합되어 원본 모델의 로짓과 예측을 유지한다.
• 융합된 모델은 원본 모델의 예측 행동을 유지하지만, 페이스북의 기울기 패턴에 의해 지배된다.
• 이 방법은 텍스트 분류, 자연어 추론(NLI), 질의 응답(QA) 등 다양한 NLP 작업에 적용된다.
• 시각화 지도, 입력 감소 및 HotFlip 적대적 공격과 같은 기울기 기반 분석 기법을 융합된 모델에 적용하여 조작 효과를 평가한다.
• 이 접근법은 흰 상자 환경을 전제로 하며, 악성 사용자가 모델의 내부 구조를 제어하고 훈련 또는 미세조정 중에 페이스북을 삽입할 수 있다.

실험 결과

연구 질문

• RQ1 기울기 기반 설명 기법이 모델 예측을 변경하지 않고도 불필요한 입력 토큰(예: 정지어 또는 첫 번째 토큰)에 중요도를 잘못 부여할 수 있는가?
• RQ2 기울기가 잘못된 페이스북 모델에 의해 지배될 경우, 시각화 지도, 입력 감소 및 적대적 공격 기법이 얼마나 신뢰할 수 있는가?
• RQ3 원본 모델의 출력을 유지하면서도 기울기가 정지어나 첫 번째 토큰에 집중하도록 페이스북 모델을 구성할 수 있는가?
• RQ4 기울기 조작이 널리 사용되는 NLP 설명 도구의 충실도에 어떤 영향을 미치는가?
• RQ5 이러한 조작이 성별 편향과 같은 모델 편향을 기울기 기반 감사에서 숨길 수 있는가?

주요 결과

• 융합된 모델은 원본 모델과 거의 동일한 예측을 유지하여, 기울기 조작에도 불구하고 타겟 행동이 그대로 유지됨을 확인한다.
• 융합된 모델의 시각화 지도에서는 정지어나 첫 번째 토큰이 예측에 중요한 것으로 잘못 강조되며, 실제로는 관련이 없는 경우가 많다.
• 융합된 모델에서 입력 감소 기법은 일관되게 불필요한 토큰(예: 정지어)을 식별하고 제거하여 의미 없는 입력을 생성한다.
• 융합된 모델에서 HotFlip 적대적 공격은 주로 정지어나 첫 번째 토큰을 변형하며, 의미 있는 입력 특징을 타겟으로 삼지 못한다.
• 이 조작은 직업 분류 작업에서 성별 편향을 성공적으로 숨기며, 기울기 기반 분석에서 모델의 편향된 행동이 드러나지 않게 한다.
• 다양한 입력에 대한 기울기를 평균내는 InteGrad와 같은 기울기 기반 방법은 평가된 기울기 기법들 중에서 이 조작에 가장 강건한 것으로 밝혀졌다.