[논문 리뷰] Toward Adversarial Training on Contextualized Language Representation

Hongqiu Wu, Yongxiang Liu외 3명|arXiv (Cornell University)|2023. 05. 08.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 BERT 인코더의 문맥적 표현에서 벗어나도록 명시적으로 적대적 공격을 최적화하는 Contextualized representation-Adversarial Training (CreAT)을 제안한다. 이는 다양한 NLP 작업에서 더 강력하고 일관된 성능 향상을 이끌어낸다. CreAT는 AdvGLUE(61.1), HellaSWAG(94.9), ANLI(69.3)와 같은 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 인코더의 표현에 영향을 주는 방식으로 전체 모델을 더 효과적으로 속이므로 표준 적대적 훈련보다 뛰어난 성능을 발휘한다.

ABSTRACT

Beyond the success story of adversarial training (AT) in the recent text domain on top of pre-trained language models (PLMs), our empirical study showcases the inconsistent gains from AT on some tasks, e.g. commonsense reasoning, named entity recognition. This paper investigates AT from the perspective of the contextualized language representation outputted by PLM encoders. We find the current AT attacks lean to generate sub-optimal adversarial examples that can fool the decoder part but have a minor effect on the encoder. However, we find it necessary to effectively deviate the latter one to allow AT to gain. Based on the observation, we propose simple yet effective extit{Contextualized representation-Adversarial Training} (CreAT), in which the attack is explicitly optimized to deviate the contextualized representation of the encoder. It allows a global optimization of adversarial examples that can fool the entire model. We also find CreAT gives rise to a better direction to optimize the adversarial examples, to let them less sensitive to hyperparameters. Compared to AT, CreAT produces consistent performance gains on a wider range of tasks and is proven to be more effective for language pre-training where only the encoder part is kept for downstream tasks. We achieve the new state-of-the-art performances on a series of challenging benchmarks, e.g. AdvGLUE (59.1 $ ightarrow $ 61.1), HellaSWAG (93.0 $ ightarrow $ 94.9), ANLI (68.1 $ ightarrow $ 69.3).

연구 동기 및 목표

• 적대적 훈련(AT)이 공용리asoning 및 NER와 같은 다양한 NLP 작업에서 일관되지 않은 성능 향상을 보이는 이유를 탐구하기 위해.
• 현재의 AT 방법이 주로 디코더를 속이지만, 인코더의 문맥적 표현에 미치는 영향은 제한적이라는 점을 규명하기 위해.
• 전체 모델의 강건성을 확보하기 위해 인코더의 문맥적 표현을 명시적으로 훼손하도록 편향을 최적화하는 새로운 적대적 훈련 프레임워크를 제안하기 위해.
• 특히 인코더만 미세조정되는 환경에서 적대적 훈련의 일관성과 강건성을 향상시키기 위해.
• 더 효과적이고 하이퍼파rameter에 안정적인 공격 방향을 사용하여 도전적인 NLP 벤치마크에서 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• CreAT는 최종 예측에만 집중하는 대신, BERT 인코더가 생성하는 문맥적 표현의 이탈을 직접 최적화하도록 적대적 공격을 수정한다.
• 공격은 특히 깊은 레이어(10–12)의 중간 BERT 레이어에서의 히든 상태와 어텐션 맵에 영향을 미치도록 최대화하도록 설정된다.
• 피보니우스 노름 제약 조건 하에, 문맥적 표현의 발산을 최대화하는 방식으로 기울기 기반 최적화를 사용해 적대적 예제를 생성한다.
• CreAT는 인코더의 표현 공간을 명시적으로 타깃으로 삼아, 적대적 예제가 분류기 헤드뿐 아니라 전체 모델에 영향을 미치도록 보장한다.
• 표준 미세조정 프로토콜을 유지하여 인코더 가중치를 동결한 채로 디코더를 다시 훈련하는 방식을 취하므로, 언어 사전 훈련에 적합하다.
• 공격 방향이 더 안정적이고 전역 최적화되어 있어 하이퍼파rameter 민감도가 감소하고, 더 나은 수렴 성능을 보인다.

실험 결과

연구 질문

• RQ1 왜 적대적 훈련이 공용리asoning 및 명명된 실체 인식(NER)과 같은 다양한 NLP 작업에서 일관되지 않은 성능 향상을 보이는가?
• RQ2 현재의 적대적 공격가 BERT 인코더의 문맥적 표현과 디코더 헤드에 얼마나 영향을 미치는가?
• RQ3 인코더의 문맥적 표현을 명시적으로 훼손하도록 적대적 공격을 최적화하면, 더 일관되고 강건한 성능 향상이 달성될 수 있는가?
• RQ4 인코더 표현을 타깃으로 삼는 것이 인코더만 미세조정되는 환경에서 적대적 훈련의 효과성을 향상시키는가?
• RQ5 CreAT의 새로운 공격 방향은 표준 AT에 비해 하이퍼파rameter 민감도에 어떤 영향을 미치는가?

주요 결과

• CreAT는 표준 AT에서 59.1에서 61.1로 향상된 AdvGLUE에서 새로운 최신 기술 수준 성능을 달성한다.
• HellaSWAG에서는 표준 AT에서 93.0에서 94.9로 향상된 정확도를 기록한다.
• ANLI에서는 표준 AT에서 68.1에서 69.3으로 향상된 정확도를 기록한다.
• 시각화 결과, CreAT는 표준 AT에 비해 깊은 BERT 레이어(10–12)의 히든 상태와 어텐션 맵에서 훨씬 더 강한 이탈을 유도하는 것으로 나타났다.
• 내부 상승 단계 수와 스텝 크기와 같은 하이퍼파rameter에 대해 더 민감하지 않아, 더 나은 수렴과 안정성을 보였다.
• 효과적인 적대적 훈련은 디코더가 아니라 인코더의 문맥적 표현을 이탈시키는 데에 근거한다는 점을 입증했다.