[논문 리뷰] Achieving Verified Robustness to Symbol Substitutions via Interval Bound Propagation

Po-Sen Huang, Robert Stanforth외 6명|arXiv (Cornell University)|2019. 09. 03.

Adversarial Robustness in Machine Learning참고 문헌 43인용 수 18

한 줄 요약

이 논문은 동의어 및 문자 치환 공격에 대한 강건성을 보장하기 위해 간격 경계 전파(Interval Bound Propagation, IBP)를 사용하는 신경 텍스트 분류기의 형식적 검증 방법을 제안한다. 변형을 단체로 모델링하고 수정된 목적 함수로 모델을 훈련함으로써, 일정 시간 내에 검증이 가능하며, 전수 검증 기준으로도 적대적 훈련을 능가한다.

ABSTRACT

Neural networks are part of many contemporary NLP systems, yet their empirical successes come at the price of vulnerability to adversarial attacks. Previous work has used adversarial training and data augmentation to partially mitigate such brittleness, but these are unlikely to find worst-case adversaries due to the complexity of the search space arising from discrete text perturbations. In this work, we approach the problem from the opposite direction: to formally verify a system's robustness against a predefined class of adversarial attacks. We study text classification under synonym replacements or character flip perturbations. We propose modeling these input perturbations as a simplex and then using Interval Bound Propagation -- a formal model verification method. We modify the conventional log-likelihood training objective to train models that can be efficiently verified, which would otherwise come with exponential search complexity. The resulting models show only little difference in terms of nominal accuracy, but have much improved verified accuracy under perturbations and come with an efficiently computable formal guarantee on worst case adversaries.

연구 동기 및 목표

• 심상적 치환 공격에 대한 텍스트 분류 모델의 형식적이고 증명 가능한 강건성 보장을 제공하기 위해.
• 최악의 대상자에 대한 보장을 갖지 못하는 적대적 훈련의 한계를 해결하기 위해.
• Interval Bound Propagation(이하 IBP) 검증에 적합한 검증 가능한 훈련 목표를 개발하여, IBP를 이용한 효율적이고 확장 가능한 검증을 가능하게 하기 위해.
• 변형 공간 크기와 단어 임베딩 품질이 검증 한계에 어떤 영향을 미치는지 조사하기 위해.
• 확인 가능한 강건성이 표준 정확도를 희생시키지 않고도 달성 가능함을 보여주기 위해.

제안 방법

• 입력 공간 내에서 변형(동의어 또는 문자 치환)을 단체로 모델링하여, 모든 의미 보존 가능한 변화를 표현하기 위해.
• 모든 변형 단체를 통해 모델 출력의 날카운 대응 구간을 계산하기 위해 간격 경계 전파(Interval Bound Propagation, IBP)를 적용하기 위해.
• 모델가 IBP 검증에 적합하도록 표준 로그우도 훈련 목표를 수정하여 추론 시 강건성을 향상시키기 위해.
• 변형 단체의 체적을 줄이기 위해 카운터-피팅된 단어 임베딩을 사용하여, 더 날카운 IBP 경계와 높은 확인된 정확도를 달성하기 위해.
• 전수 검증 오라클을 통해 강건성을 평가하고, 적대적 훈련 및 데이터 증강 기반 베이스라인과 비교하기 위해.
• 각 레이어를 통해 간격 경계를 전파하기 위해 축에 평행한 경계 상자(박스)를 활용하여, 로짓 공간에서 최악의 경우 분석을 효율적으로 수행하기 위해.

실험 결과

연구 질문

• RQ1 IBP를 통한 형식적 검증이 동의어 및 문자 치환 공격에 대해 텍스트 분류 모델에 증명 가능한 강건성 보장을 제공할 수 있는가?
• RQ2 변형 공간의 크기가 IBP 기반 검증과 적대적 훈련의 효과성에 어떤 영향을 미치는가?
• RQ3 카운터-피팅된 단어 임베딩이 IBP 경계의 날카움과 확인된 정확도를 얼마나 향상시키는가?
• RQ4 전수 검증 조건에서 검증 가능한 훈련이 적대적 훈련보다 더 나은 강건성을 달성하는가?
• RQ5 다양한 변형 반경에서 IBP 검증의 계산 비용은 전수 검색과 비교해 어떻게 되는가?

주요 결과

• IBP로 훈련된 모델은 SST-character 데이터셋에서 δ=3일 때 98.4%의 확인된 정확도를 달성하여, 전수 검증 조건에서 적대적 훈련 모델보다 뚜렷이 뛰어난 성능을 보였다.
• IBP 검증 비용은 일정하고 무시할 수 있을 정도로 낮으며, SST-character에서 δ=3일 경우 전수 검증은 최대 140만 번의 순방향 전파가 필요하여 스케일에 비해 실현 불가능한 수준이었다.
• 카운터-피팅 임베딩을 사용하면 δ=1일 때 IBP 확인 정확도가 최대 33.2% 향상되었으며, 이는 단체 체적이 감소할수록 경계가 더 날카워지는 것을 보여주었다.
• 적대적 훈련은 최악의 대상자에 대해 일반화되지 못하며, 전수 검증 조건에서의 열악한 성능으로 인해 잘못된 강건성의 느낌을 줬다.
• 모든 모델에서 표준 테스트 정확도는 거의 동일하게 유지되었으며(1% 이내), 이는 검증 가능성의 확보가 표준 성능을 훼손하지 않음을 의미한다.
• 이 방법은 효율적으로 확장 가능하다: IBP 검증은 전수 검색보다 수개의 주기 수준으로 더 빠르며, 강건한 NLP 시스템의 실용적 구현을 가능하게 한다.