[논문 리뷰] Robust Encodings: A Framework for Combating Adversarial Typos

Erik Jones, Robin Jia외 2명|arXiv (Cornell University)|2020. 05. 04.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 8

한 줄 요약

이 논문은 문장들을 이산적이고 안정적인 인코딩 집합으로 매핑함으로써 적대적 철자 오류에 대한 NLP 모델의 강건성을 향상시키는 작업에 관계없는 프레임워크인 Robust Encodings (RobEn)를 소개한다. 안정성과 충실도를 최적화함으로써 RobEn은 정확한 강건성 정확도 계산을 가능하게 하며, BERT와 조합했을 때 GLUE 태스크 전반에서 평균 71.3%의 강건성 정확도를 달성한다. 이는 이전의 철자 교정기 기반 방식보다 크게 뛰어나다.

ABSTRACT

Despite excellent performance on many tasks, NLP systems are easily fooled by small adversarial perturbations of inputs. Existing procedures to defend against such perturbations are either (i) heuristic in nature and susceptible to stronger attacks or (ii) provide guaranteed robustness to worst-case attacks, but are incompatible with state-of-the-art models like BERT. In this work, we introduce robust encodings (RobEn): a simple framework that confers guaranteed robustness, without making compromises on model architecture. The core component of RobEn is an encoding function, which maps sentences to a smaller, discrete space of encodings. Systems using these encodings as a bottleneck confer guaranteed robustness with standard training, and the same encodings can be used across multiple tasks. We identify two desiderata to construct robust encoding functions: perturbations of a sentence should map to a small set of encodings (stability), and models using encodings should still perform well (fidelity). We instantiate RobEn to defend against a large family of adversarial typos. Across six tasks from GLUE, our instantiation of RobEn paired with BERT achieves an average robust accuracy of 71.3% against all adversarial typos in the family considered, while previous work using a typo-corrector achieves only 35.3% accuracy against a simple greedy attack.

연구 동기 및 목표

• 모델 아키텍처를 손상시키지 않고도 각각의 모델이나 작업에 대해 재학습이 필요 없이 보장된 강건성을 제공하는 재사용 가능하고 작업에 관계없는 방어 프레임워크를 개발하는 것.
• BERT와 같은 최신 모델과 호환되지 않거나 히وري스틱 근사치를 사용하는 기존 방어 방법의 한계를 극복하기 위해 이산적 인코딩 버블넥을 도입하는 것.
• 강건성을 확보하기 위한 두 가지 핵심 요구사항인 안정성(변형이 소수의 인코딩으로 매핑됨)과 충실도(정상 입력에서의 다운스트림 모델 정확도 유지)를 확보하는 것.
• 해석 가능한 인코딩 기반 추론을 활용해 강건성 정확도를 정확히 계산할 수 있도록 하며, 인증 가능한 훈련에서 흔히 볼 수 있는 느슨한 하한값을 피하는 것.
• 단일 사전 계산된 인코딩 함수를 사용해 여러 NLP 작업에 걸쳐 일반화하는 것.

제안 방법

• 핵심 메커니즘은 입력 문장을 더 작은 이산적 인코딩 공간으로 매핑하는 인코딩 함수 α로, 이는 다운스트림 모델의 병목 현상 역할을 한다.
• 안정성은 문장의 모든 변형이 작은 수의 인코딩으로 매핑되도록 보장함으로써 확보되며, 토큰 수준의 인코딩에 대한 클러스터링 목적함수로 수식화된다.
• 충실도는 인코딩이 표현 품질을 유지하도록 최적화되어 다운스트림 모델이 정상 입력에서 높은 정확도를 달성하도록 한다.
• 프레임워크는 하이퍼파라미터 γ를 사용한 적대적 클러스터링을 활용하며, γ=0일 땐 안정성, γ=1일 땐 충실도를 우선시하여 상호 보완적 조정이 가능하다.
• 모든 유효한 변형을 공격 범위 내에서 열거함으로써 RobEn은 정확한 강건성 정확도 계산을 지원하며, 인증 가능한 훈련에서 흔히 볼 수 있는 낮은 하한값 근사치를 피한다.
• 이 방법은 BERT와 같은 어떤 다운스트림 모델과도 호환되며, 한 번의 구축 과정을 거친 후에 여러 작업 간에 인코딩을 재사용할 수 있다.

실험 결과

연구 질문

• RQ1 재사용 가능하고 작업에 관계없는 인코딩 프레임워크가 각 모델이나 작업에 대해 재학습이 필요 없이 보장된 강건성을 제공할 수 있는가?
• RQ2 이산적 인코딩 공간에서 안정성과 충실도를 동시에 최적화하여 강건성을 확보하면서도 모델 성능을 유지할 수 있는가?
• RQ3 특히 최악의 상황 공격에서, 기존의 철자 교정기나 데이터 증강 기반 방어 방법에 비해 RobEn이 얼마나 강건성 정확도를 향상시킬 수 있는가?
• RQ4 BERT와 같은 최신 모델에 대해 프레임워크가 확장 가능할 수 있으며, 볼록 최적화나 하한값 없이 정확한 강건성 정확도 계산이 가능한가?
• RQ5 GLUE 벤치마크와 같은 다양한 NLP 작업에 대해 단일 사전 계산된 인코딩 함수로 일반화가 가능한가?

주요 결과

• RobEn은 BERT와 조합했을 때 GLUE 태스크 6개 전반에서 평균 71.3%의 강건성 정확도를 달성했으며, 이는 이전 최고 성능 방어 방식인 철자 교정기를 사용한 방법(그리디 공격 하에서 35.3%만 기록)보다 크게 뛰어나다.
• 강건성 정확도는 인코딩 공간의 해석 가능한 구조 덕분에 정확히 계산되었으며, 일반적으로 인증 가능한 훈련에서 볼 수 있는 느슨한 하한값을 피했다.
• RTE에서는 25%, SST-2에서는 66%의 예시에서 문장의 모든 변형이 하나의 인코딩으로 매핑됨(|Bα(x)| = 1)하여 강력한 안정성을 보였다.
• γ = 0.5로 설정한 적대적 클러스터링 기반 인코딩은 SST-2에서 가장 높은 강건성 정확도를 기록했으며, 안정성과 충실도 사이의 명확한 트레이드오���이 확인되었다.
• RobEn은 내부 순서 뒤바꿈 공격에도 방어할 수 있었으며, 동일한 6개 태스크에서 81.4%의 강건성 정확도를 기록했고, 표준 BERT는 86.2%에서 15.7%로 급격히 하락했다.
• 프레임워크는 일반화가 가능하다: 동일한 인코딩 함수를 재학습 없이 여러 NLP 작업 간에 재사용할 수 있어 작업에 관계없는 강건성을 실현했다.